<div dir="ltr"><div dir="ltr">On Tue, May 12, 2020 at 3:13 PM Alexander Lindsay <<a href="mailto:alexlindsay239@gmail.com">alexlindsay239@gmail.com</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>The parallel make check target (ex19) fails with the error below after configuring/building with intel 2019 mpi compilers (mpiicc,mpiicpc,mpiifort). Any attempt to run valgrind or to attach to a debugger fails with `mpiexec: Error: unknown option "-pmi_args"`. I've attached configure.log. Does anyone have any ideas off the top of their head? We're trying to link MOOSE with a project that refuses to use a toolchain other than intel's. I'm currently trying to figure out whether the MPI implementation matters (e.g. can I use mpich/openmpi), but for now I'm operating under the assumption that I need to use the intel MPI implementation.</div></div></blockquote><div><br></div><div>There have been a _lot_ of bugs in the 2019 MPI for some reason. Is it at all possible to rollback?</div><div><br></div><div>If not, is this somewhere we can run?</div><div><br></div><div>  Thanks,</div><div><br></div><div>    Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>lindad@lemhi2:/scratch/lindad/moose/petsc/src/snes/examples/tutorials((detached from 7c25e2d))$ mpiexec -np 2 ./ex19<br>lid velocity = 0.0625, prandtl # = 1., grashof # = 1.<br>[0]PETSC ERROR: ------------------------------------------------------------------------<br>[0]PETSC ERROR: Caught signal number 11 SEGV: Segmentation Violation, probably memory access out of range<br>[0]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>[0]PETSC ERROR: or see <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>[0]PETSC ERROR: or try <a href="http://valgrind.org" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS X to find memory corruption errors<br>[0]PETSC ERROR: likely location of problem given in stack below<br>[0]PETSC ERROR: ---------------------  Stack Frames ------------------------------------<br>[0]PETSC ERROR: Note: The EXACT line numbers in the stack are not available,<br>[0]PETSC ERROR:       INSTEAD the line number of the start of the function<br>[0]PETSC ERROR:       is given.<br>[0]PETSC ERROR: [0] MPIPetsc_Type_unwrap line 38 /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sftype.c<br>[0]PETSC ERROR: [1]PETSC ERROR: ------------------------------------------------------------------------<br>[1]PETSC ERROR: Caught signal number 11 SEGV: Segmentation Violation, probably memory access out of range<br>[1]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>[1]PETSC ERROR: or see <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>[1]PETSC ERROR: or try <a href="http://valgrind.org" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS X to find memory corruption errors<br>[1]PETSC ERROR: likely location of problem given in stack below<br>[1]PETSC ERROR: ---------------------  Stack Frames ------------------------------------<br>[1]PETSC ERROR: Note: The EXACT line numbers in the stack are not available,<br>[1]PETSC ERROR:       INSTEAD the line number of the start of the function<br>[1]PETSC ERROR:       is given.<br>[1]PETSC ERROR: [1] MPIPetsc_Type_unwrap line 38 /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sftype.c<br>[1]PETSC ERROR: [0] MPIPetsc_Type_compare line 71 /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sftype.c<br>[0]PETSC ERROR: [0] PetscSFPackGetInUse line 514 /scratch/lindad/moose/petsc/src/vec/is/sf/impls/basic/sfpack.c<br>[0]PETSC ERROR: [0] PetscSFBcastAndOpEnd_Basic line 305 /scratch/lindad/moose/petsc/src/vec/is/sf/impls/basic/sfbasic.c<br>[0]PETSC ERROR: [0] PetscSFBcastAndOpEnd line 1335 /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sf.c<br>[0]PETSC ERROR: [0] VecScatterEnd_SF line 83 /scratch/lindad/moose/petsc/src/vec/vscat/impls/sf/vscatsf.c<br>[0]PETSC ERROR: [1] MPIPetsc_Type_compare line 71 /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sftype.c<br>[1]PETSC ERROR: [1] PetscSFPackGetInUse line 514 /scratch/lindad/moose/petsc/src/vec/is/sf/impls/basic/sfpack.c<br>[0] VecScatterEnd line 145 /scratch/lindad/moose/petsc/src/vec/vscat/interface/vscatfce.c<br>[0]PETSC ERROR: [0] DMGlobalToLocalEnd_DA line 25 /scratch/lindad/moose/petsc/src/dm/impls/da/dagtol.c<br>[0]PETSC ERROR: [1]PETSC ERROR: [1] PetscSFBcastAndOpEnd_Basic line 305 /scratch/lindad/moose/petsc/src/vec/is/sf/impls/basic/sfbasic.c<br>[1]PETSC ERROR: [1] PetscSFBcastAndOpEnd line 1335 /scratch/lindad/moose/petsc/src/vec/is/sf/interface/sf.c<br>[0] DMGlobalToLocalEnd line 2368 /scratch/lindad/moose/petsc/src/dm/interface/dm.c<br>[0]PETSC ERROR: [0] SNESComputeFunction_DMDA line 67 /scratch/lindad/moose/petsc/src/snes/utils/dmdasnes.c<br>[0]PETSC ERROR: [1]PETSC ERROR: [1] VecScatterEnd_SF line 83 /scratch/lindad/moose/petsc/src/vec/vscat/impls/sf/vscatsf.c<br>[0] MatFDColoringApply_AIJ line 180 /scratch/lindad/moose/petsc/src/mat/impls/aij/mpi/fdmpiaij.c<br>[0]PETSC ERROR: [0] MatFDColoringApply line 610 /scratch/lindad/moose/petsc/src/mat/matfd/fdmatrix.c<br>[0]PETSC ERROR: [1]PETSC ERROR: [1] VecScatterEnd line 145 /scratch/lindad/moose/petsc/src/vec/vscat/interface/vscatfce.c<br>[1]PETSC ERROR: [1] DMGlobalToLocalEnd_DA line 25 /scratch/lindad/moose/petsc/src/dm/impls/da/dagtol.c<br>[0] SNESComputeJacobian_DMDA line 153 /scratch/lindad/moose/petsc/src/snes/utils/dmdasnes.c<br>[0]PETSC ERROR: [0] SNES user Jacobian function line 2678 /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>[0]PETSC ERROR: [1]PETSC ERROR: [1] DMGlobalToLocalEnd line 2368 /scratch/lindad/moose/petsc/src/dm/interface/dm.c<br>[1]PETSC ERROR: [1] SNESComputeFunction_DMDA line 67 /scratch/lindad/moose/petsc/src/snes/utils/dmdasnes.c<br>[0] SNESComputeJacobian line 2637 /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>[0]PETSC ERROR: [0] SNESSolve_NEWTONLS line 144 /scratch/lindad/moose/petsc/src/snes/impls/ls/ls.c<br>[0]PETSC ERROR: [1]PETSC ERROR: [1] MatFDColoringApply_AIJ line 180 /scratch/lindad/moose/petsc/src/mat/impls/aij/mpi/fdmpiaij.c<br>[1]PETSC ERROR: [1] MatFDColoringApply line 610 /scratch/lindad/moose/petsc/src/mat/matfd/fdmatrix.c<br>[1]PETSC ERROR: [1] SNESComputeJacobian_DMDA line 153 /scratch/lindad/moose/petsc/src/snes/utils/dmdasnes.c<br>[1]PETSC ERROR: [0] SNESSolve line 4366 /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>[0]PETSC ERROR: [0] main line 108 ex19.c<br>[1] SNES user Jacobian function line 2678 /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>[1]PETSC ERROR: [0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------<br>[1] SNESComputeJacobian line 2637 /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>[1]PETSC ERROR: [1] SNESSolve_NEWTONLS line 144 /scratch/lindad/moose/petsc/src/snes/impls/ls/ls.c<br>[1]PETSC ERROR: [0]PETSC ERROR: Signal received<br>[0]PETSC ERROR: See <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.<br>[0]PETSC ERROR: [1] SNESSolve line 4366 /scratch/lindad/moose/petsc/src/snes/interface/snes.c<br>[1]PETSC ERROR: [1] main line 108 ex19.c<br>Petsc Release Version 3.12.4, unknown <br>[0]PETSC ERROR: ./ex19 on a arch-moose named lemhi2 by lindad Tue May 12 12:54:11 2020<br>[0]PETSC ERROR: [1]PETSC ERROR: Configure options --download-hypre=1 --with-debugging=no --with-shared-libraries=1 --download-fblaslapack=1 --download-metis=1 --download-ptscotch=1 --download-parmetis=1 --download-superlu_dist=1 --download-mumps=1 --download-scalapack=1 --download-slepc=git://<a href="https://gitlab.com/slepc/slepc.git" target="_blank">https://gitlab.com/slepc/slepc.git</a> --download-slepc-commit= 59ff81b --with-mpi=1 --with-cxx-dialect=C++11 --with-fortran-bindings=0 --with-sowing=0 --with-cc=mpiicc --with-cxx=mpiicpc --with-fc=mpiifort --with-debugging=yes<br>[0]PETSC ERROR: #1 User provided function() line 0 in  unknown file<br>--------------------- Error Message --------------------------------------------------------------<br>[1]PETSC ERROR: Signal received<br>[1]PETSC ERROR: See <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.<br>[1]PETSC ERROR: Petsc Release Version 3.12.4, unknown <br>[1]PETSC ERROR: Abort(59) on node 0 (rank 0 in comm 0): application called MPI_Abort(MPI_COMM_WORLD, 59) - process 0<br>./ex19 on a arch-moose named lemhi2 by lindad Tue May 12 12:54:11 2020<br>[1]PETSC ERROR: Configure options --download-hypre=1 --with-debugging=no --with-shared-libraries=1 --download-fblaslapack=1 --download-metis=1 --download-ptscotch=1 --download-parmetis=1 --download-superlu_dist=1 --download-mumps=1 --download-scalapack=1 --download-slepc=git://<a href="https://gitlab.com/slepc/slepc.git" target="_blank">https://gitlab.com/slepc/slepc.git</a> --download-slepc-commit= 59ff81b --with-mpi=1 --with-cxx-dialect=C++11 --with-fortran-bindings=0 --with-sowing=0 --with-cc=mpiicc --with-cxx=mpiicpc --with-fc=mpiifort --with-debugging=yes<br>[1]PETSC ERROR: #1 User provided function() line 0 in  unknown file<br>[0]PETSC ERROR: ------------------------------------------------------------------------<br>[0]PETSC ERROR: Caught signal number 15 Terminate: Some process (or the batch system) has told this process to end<br>[0]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>[0]PETSC ERROR: Abort(59) on node 1 (rank 1 in comm 0): application called MPI_Abort(MPI_COMM_WORLD, 59) - process 1<br>[1]PETSC ERROR: ------------------------------------------------------------------------<br>[1]PETSC ERROR: Caught signal number 15 Terminate: Some process (or the batch system) has told this process to end<br>[1]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>[1]PETSC ERROR: or see <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>[1]PETSC ERROR: or try <a href="http://valgrind.org" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS X to find memory corruption errors<br>[1]PETSC ERROR: likely location of problem given in stack below<br>[1]PETSC ERROR: or see <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>[0]PETSC ERROR: or try <a href="http://valgrind.org" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS X to find memory corruption errors<br>[0]PETSC ERROR: likely location of problem given in stack below<br>[0]PETSC ERROR: ---------------------  Stack Frames ------------------------------------<br></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>