<div dir="ltr"><div>Alexander,</div>   I reproduced the error with Intel MPI 2019.3.199 and I can confirm it is because Intel MPI_Type_get_envelope() is wrong.<div><br><div>--Junchao Zhang<br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 12, 2020 at 3:45 PM Alexander Lindsay <<a href="mailto:alexlindsay239@gmail.com">alexlindsay239@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Ok, this is good to know. Yea we'll probably just roll back then. Thanks!<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 12, 2020 at 12:45 PM Satish Balay <<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, 12 May 2020, Matthew Knepley wrote:<br>
<br>
> On Tue, May 12, 2020 at 3:13 PM Alexander Lindsay <<a href="mailto:alexlindsay239@gmail.com" target="_blank">alexlindsay239@gmail.com</a>><br>
> wrote:<br>
> <br>
> > The parallel make check target (ex19) fails with the error below after<br>
> > configuring/building with intel 2019 mpi compilers<br>
> > (mpiicc,mpiicpc,mpiifort). Any attempt to run valgrind or to attach to a<br>
> > debugger fails with `mpiexec: Error: unknown option "-pmi_args"`. I've<br>
> > attached configure.log. Does anyone have any ideas off the top of their<br>
> > head? We're trying to link MOOSE with a project that refuses to use a<br>
> > toolchain other than intel's. I'm currently trying to figure out whether<br>
> > the MPI implementation matters (e.g. can I use mpich/openmpi), but for now<br>
> > I'm operating under the assumption that I need to use the intel MPI<br>
> > implementation.<br>
> ><br>
> <br>
> There have been a _lot_ of bugs in the 2019 MPI for some reason. Is it at<br>
> all possible to rollback?<br>
> <br>
> If not, is this somewhere we can run?<br>
<br>
We have this compiler/mpi [19u3] on our KNL box. I've had weird issues with it - so we still use 18u2 on it.<br>
<br>
Satish<br>
<br>
> <br>
>   Thanks,<br>
> <br>
>     Matt<br>
> <br>
> <br>
> > lindad@lemhi2:/scratch/lindad/moose/petsc/src/snes/examples/tutorials((detached<br>
> > from 7c25e2d))$ mpiexec -np 2 ./ex19<br>
> > lid velocity = 0.0625, prandtl # = 1., grashof # = 1.<br>
> > [0]PETSC ERROR:<br>
> > ------------------------------------------------------------------------<br>
> > [0]PETSC ERROR: Caught signal number 11 SEGV: Segmentation Violation,<br>
> > probably memory access out of range<br>
> > [0]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>
> > [0]PETSC ERROR: or see<br>
> > <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" rel="noreferrer" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>
> > [0]PETSC ERROR: or try <a href="http://valgrind.org" rel="noreferrer" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS<br>
> > X to find memory corruption errors<br>
> > [0]PETSC ERROR: likely location of problem given in stack below<br>
> > [0]PETSC ERROR: ---------------------  Stack Frames<br>
> > ------------------------------------<br>
> > [0]PETSC ERROR: Note: The EXACT line numbers in the stack are not<br>
> > available,<br>
> > [0]PETSC ERROR:       INSTEAD the line number of the start of the function<br>
> > [0]PETSC ERROR:       is given.<br>
> > [0]PETSC ERROR: [0] MPIPetsc_Type_unwrap line 38<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sftype.c<br>
> > [0]PETSC ERROR: [1]PETSC ERROR:<br>
> > ------------------------------------------------------------------------<br>
> > [1]PETSC ERROR: Caught signal number 11 SEGV: Segmentation Violation,<br>
> > probably memory access out of range<br>
> > [1]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>
> > [1]PETSC ERROR: or see<br>
> > <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" rel="noreferrer" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>
> > [1]PETSC ERROR: or try <a href="http://valgrind.org" rel="noreferrer" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS<br>
> > X to find memory corruption errors<br>
> > [1]PETSC ERROR: likely location of problem given in stack below<br>
> > [1]PETSC ERROR: ---------------------  Stack Frames<br>
> > ------------------------------------<br>
> > [1]PETSC ERROR: Note: The EXACT line numbers in the stack are not<br>
> > available,<br>
> > [1]PETSC ERROR:       INSTEAD the line number of the start of the function<br>
> > [1]PETSC ERROR:       is given.<br>
> > [1]PETSC ERROR: [1] MPIPetsc_Type_unwrap line 38<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sftype.c<br>
> > [1]PETSC ERROR: [0] MPIPetsc_Type_compare line 71<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sftype.c<br>
> > [0]PETSC ERROR: [0] PetscSFPackGetInUse line 514<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/impls/basic/sfpack.c<br>
> > [0]PETSC ERROR: [0] PetscSFBcastAndOpEnd_Basic line 305<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/impls/basic/sfbasic.c<br>
> > [0]PETSC ERROR: [0] PetscSFBcastAndOpEnd line 1335<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sf.c<br>
> > [0]PETSC ERROR: [0] VecScatterEnd_SF line 83<br>
> > /scratch/lindad/moose/petsc/src/vec/vscat/impls/sf/vscatsf.c<br>
> > [0]PETSC ERROR: [1] MPIPetsc_Type_compare line 71<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sftype.c<br>
> > [1]PETSC ERROR: [1] PetscSFPackGetInUse line 514<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/impls/basic/sfpack.c<br>
> > [0] VecScatterEnd line 145<br>
> > /scratch/lindad/moose/petsc/src/vec/vscat/interface/vscatfce.c<br>
> > [0]PETSC ERROR: [0] DMGlobalToLocalEnd_DA line 25<br>
> > /scratch/lindad/moose/petsc/src/dm/impls/da/dagtol.c<br>
> > [0]PETSC ERROR: [1]PETSC ERROR: [1] PetscSFBcastAndOpEnd_Basic line 305<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/impls/basic/sfbasic.c<br>
> > [1]PETSC ERROR: [1] PetscSFBcastAndOpEnd line 1335<br>
> > /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sf.c<br>
> > [0] DMGlobalToLocalEnd line 2368<br>
> > /scratch/lindad/moose/petsc/src/dm/interface/dm.c<br>
> > [0]PETSC ERROR: [0] SNESComputeFunction_DMDA line 67<br>
> > /scratch/lindad/moose/petsc/src/snes/utils/dmdasnes.c<br>
> > [0]PETSC ERROR: [1]PETSC ERROR: [1] VecScatterEnd_SF line 83<br>
> > /scratch/lindad/moose/petsc/src/vec/vscat/impls/sf/vscatsf.c<br>
> > [0] MatFDColoringApply_AIJ line 180<br>
> > /scratch/lindad/moose/petsc/src/mat/impls/aij/mpi/fdmpiaij.c<br>
> > [0]PETSC ERROR: [0] MatFDColoringApply line 610<br>
> > /scratch/lindad/moose/petsc/src/mat/matfd/fdmatrix.c<br>
> > [0]PETSC ERROR: [1]PETSC ERROR: [1] VecScatterEnd line 145<br>
> > /scratch/lindad/moose/petsc/src/vec/vscat/interface/vscatfce.c<br>
> > [1]PETSC ERROR: [1] DMGlobalToLocalEnd_DA line 25<br>
> > /scratch/lindad/moose/petsc/src/dm/impls/da/dagtol.c<br>
> > [0] SNESComputeJacobian_DMDA line 153<br>
> > /scratch/lindad/moose/petsc/src/snes/utils/dmdasnes.c<br>
> > [0]PETSC ERROR: [0] SNES user Jacobian function line 2678<br>
> > /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>
> > [0]PETSC ERROR: [1]PETSC ERROR: [1] DMGlobalToLocalEnd line 2368<br>
> > /scratch/lindad/moose/petsc/src/dm/interface/dm.c<br>
> > [1]PETSC ERROR: [1] SNESComputeFunction_DMDA line 67<br>
> > /scratch/lindad/moose/petsc/src/snes/utils/dmdasnes.c<br>
> > [0] SNESComputeJacobian line 2637<br>
> > /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>
> > [0]PETSC ERROR: [0] SNESSolve_NEWTONLS line 144<br>
> > /scratch/lindad/moose/petsc/src/snes/impls/ls/ls.c<br>
> > [0]PETSC ERROR: [1]PETSC ERROR: [1] MatFDColoringApply_AIJ line 180<br>
> > /scratch/lindad/moose/petsc/src/mat/impls/aij/mpi/fdmpiaij.c<br>
> > [1]PETSC ERROR: [1] MatFDColoringApply line 610<br>
> > /scratch/lindad/moose/petsc/src/mat/matfd/fdmatrix.c<br>
> > [1]PETSC ERROR: [1] SNESComputeJacobian_DMDA line 153<br>
> > /scratch/lindad/moose/petsc/src/snes/utils/dmdasnes.c<br>
> > [1]PETSC ERROR: [0] SNESSolve line 4366<br>
> > /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>
> > [0]PETSC ERROR: [0] main line 108 ex19.c<br>
> > [1] SNES user Jacobian function line 2678<br>
> > /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>
> > [1]PETSC ERROR: [0]PETSC ERROR: --------------------- Error Message<br>
> > --------------------------------------------------------------<br>
> > [1] SNESComputeJacobian line 2637<br>
> > /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>
> > [1]PETSC ERROR: [1] SNESSolve_NEWTONLS line 144<br>
> > /scratch/lindad/moose/petsc/src/snes/impls/ls/ls.c<br>
> > [1]PETSC ERROR: [0]PETSC ERROR: Signal received<br>
> > [0]PETSC ERROR: See <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
> > for trouble shooting.<br>
> > [0]PETSC ERROR: [1] SNESSolve line 4366<br>
> > /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>
> > [1]PETSC ERROR: [1] main line 108 ex19.c<br>
> > Petsc Release Version 3.12.4, unknown<br>
> > [0]PETSC ERROR: ./ex19 on a arch-moose named lemhi2 by lindad Tue May 12<br>
> > 12:54:11 2020<br>
> > [0]PETSC ERROR: [1]PETSC ERROR: Configure options --download-hypre=1<br>
> > --with-debugging=no --with-shared-libraries=1 --download-fblaslapack=1<br>
> > --download-metis=1 --download-ptscotch=1 --download-parmetis=1<br>
> > --download-superlu_dist=1 --download-mumps=1 --download-scalapack=1<br>
> > --download-slepc=git://<a href="https://gitlab.com/slepc/slepc.git" rel="noreferrer" target="_blank">https://gitlab.com/slepc/slepc.git</a><br>
> > --download-slepc-commit= 59ff81b --with-mpi=1 --with-cxx-dialect=C++11<br>
> > --with-fortran-bindings=0 --with-sowing=0 --with-cc=mpiicc<br>
> > --with-cxx=mpiicpc --with-fc=mpiifort --with-debugging=yes<br>
> > [0]PETSC ERROR: #1 User provided function() line 0 in  unknown file<br>
> > --------------------- Error Message<br>
> > --------------------------------------------------------------<br>
> > [1]PETSC ERROR: Signal received<br>
> > [1]PETSC ERROR: See <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
> > for trouble shooting.<br>
> > [1]PETSC ERROR: Petsc Release Version 3.12.4, unknown<br>
> > [1]PETSC ERROR: Abort(59) on node 0 (rank 0 in comm 0): application called<br>
> > MPI_Abort(MPI_COMM_WORLD, 59) - process 0<br>
> > ./ex19 on a arch-moose named lemhi2 by lindad Tue May 12 12:54:11 2020<br>
> > [1]PETSC ERROR: Configure options --download-hypre=1 --with-debugging=no<br>
> > --with-shared-libraries=1 --download-fblaslapack=1 --download-metis=1<br>
> > --download-ptscotch=1 --download-parmetis=1 --download-superlu_dist=1<br>
> > --download-mumps=1 --download-scalapack=1 --download-slepc=git://<br>
> > <a href="https://gitlab.com/slepc/slepc.git" rel="noreferrer" target="_blank">https://gitlab.com/slepc/slepc.git</a> --download-slepc-commit= 59ff81b<br>
> > --with-mpi=1 --with-cxx-dialect=C++11 --with-fortran-bindings=0<br>
> > --with-sowing=0 --with-cc=mpiicc --with-cxx=mpiicpc --with-fc=mpiifort<br>
> > --with-debugging=yes<br>
> > [1]PETSC ERROR: #1 User provided function() line 0 in  unknown file<br>
> > [0]PETSC ERROR:<br>
> > ------------------------------------------------------------------------<br>
> > [0]PETSC ERROR: Caught signal number 15 Terminate: Some process (or the<br>
> > batch system) has told this process to end<br>
> > [0]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>
> > [0]PETSC ERROR: Abort(59) on node 1 (rank 1 in comm 0): application called<br>
> > MPI_Abort(MPI_COMM_WORLD, 59) - process 1<br>
> > [1]PETSC ERROR:<br>
> > ------------------------------------------------------------------------<br>
> > [1]PETSC ERROR: Caught signal number 15 Terminate: Some process (or the<br>
> > batch system) has told this process to end<br>
> > [1]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>
> > [1]PETSC ERROR: or see<br>
> > <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" rel="noreferrer" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>
> > [1]PETSC ERROR: or try <a href="http://valgrind.org" rel="noreferrer" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS<br>
> > X to find memory corruption errors<br>
> > [1]PETSC ERROR: likely location of problem given in stack below<br>
> > [1]PETSC ERROR: or see<br>
> > <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" rel="noreferrer" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>
> > [0]PETSC ERROR: or try <a href="http://valgrind.org" rel="noreferrer" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS<br>
> > X to find memory corruption errors<br>
> > [0]PETSC ERROR: likely location of problem given in stack below<br>
> > [0]PETSC ERROR: ---------------------  Stack Frames<br>
> > ------------------------------------<br>
> ><br>
> <br>
> <br>
> <br>
<br>
</blockquote></div>
</blockquote></div>