<div dir="ltr"><div><div><div>Hi all,<br><br></div>Our research group recently got access to a relatively new HPC cluster (with SLURM scheduler) and I am trying to run some test examples with it on multiple processors. When I run SNES ex12 serially it works. However when i run it on two processes, I get the following error:<br><br>[0]PETSC ERROR: ------------------------------------------------------------------------<br>[0]PETSC ERROR: Caught signal number 11 SEGV: Segmentation Violation, probably memory access out of range<br>[0]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>[0]PETSC ERROR: or see <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind">http://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>[0]PETSC ERROR: or try <a href="http://valgrind.org">http://valgrind.org</a> on GNU/linux and Apple Mac OS X to find memory corruption errors<br>[0]PETSC ERROR: likely location of problem given in stack below<br>[0]PETSC ERROR: ---------------------  Stack Frames ------------------------------------<br>[0]PETSC ERROR: Note: The EXACT line numbers in the stack are not available,<br>[0]PETSC ERROR:       INSTEAD the line number of the start of the function<br>[0]PETSC ERROR:       is given.<br>[0]PETSC ERROR: [0] DMLabelMakeInvalid_Private line 81 /home/jchang23/petsc/src/dm/impls/plex/plexlabel.c<br>[0]PETSC ERROR: [0] DMLabelSetValue line 466 /home/jchang23/petsc/src/dm/impls/plex/plexlabel.c<br>[0]PETSC ERROR: [0] DMPlexLabelComplete line 72 /home/jchang23/petsc/src/dm/impls/plex/plexsubmesh.c<br>[0]PETSC ERROR: [0] DMCreateDefaultSection_Plex line 5368 /home/jchang23/petsc/src/dm/impls/plex/plex.c<br>[0]PETSC ERROR: [0] DMGetDefaultSection line 2974 /home/jchang23/petsc/src/dm/interface/dm.c<br>[0]PETSC ERROR: [0] DMGetDefaultGlobalSection line 3129 /home/jchang23/petsc/src/dm/interface/dm.c<br>[0]PETSC ERROR: [0] DMCreateGlobalVector_Section_Private line 12 /home/jchang23/petsc/src/dm/interface/dmi.c<br>[0]PETSC ERROR: [0] DMCreateGlobalVector_Plex line 1152 /home/jchang23/petsc/src/dm/impls/plex/plexcreate.c<br>[0]PETSC ERROR: [0] DMCreateGlobalVector line 683 /home/jchang23/petsc/src/dm/interface/dm.c<br>[0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------<br>[0]PETSC ERROR: Signal received<br>[0]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html">http://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.<br>[0]PETSC ERROR: Petsc Development GIT revision: v3.5.2-1351-g37b8796  GIT Date: 2015-01-11 11:57:24 -0600<br>[0]PETSC ERROR: ./petsc/src/snes/examples/tutorials/ex12 on a arch-linux2-c-opt named compute-0-0.local by jchang23 Sun Jan 11 21:55:42 2015<br>[0]PETSC ERROR: Configure options --download-fblaslapack --download-hdf5 --download-metis --download-parmetis --with-c=gcc --with-cmake=cmake --with-debugging=1 --with-fc-gfortran --with-mpi-dir=/share/apps/openmpi-1.8.3/ CPPFLAGS=-I/share/apps/openmpi-1.8.3/include LDFLAGS=-L/share/apps/openmpi-1.8.3/lib PETSC_ARCH=arch-linux2-c-opt download-chaco --download-triangle<br>[0]PETSC ERROR: #1 User provided function() line 0 in  unknown file<br>[1]PETSC ERROR: ------------------------------------------------------------------------<br>[1]PETSC ERROR: Caught signal number 11 SEGV: Segmentation Violation, probably memory access out of range<br>[1]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>[1]PETSC ERROR: or see <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind">http://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>[1]PETSC ERROR: or try <a href="http://valgrind.org">http://valgrind.org</a> on GNU/linux and Apple Mac OS X to find memory corruption errors<br>[1]PETSC ERROR: likely location of problem given in stack below<br>[1]PETSC ERROR: ---------------------  Stack Frames ------------------------------------<br>[1]PETSC ERROR: Note: The EXACT line numbers in the stack are not available,<br>[1]PETSC ERROR:       INSTEAD the line number of the start of the function<br>[1]PETSC ERROR:       is given.<br>[1]PETSC ERROR: [1] DMLabelMakeInvalid_Private line 81 /home/jchang23/petsc/src/dm/impls/plex/plexlabel.c<br>[1]PETSC ERROR: [1] DMLabelSetValue line 466 /home/jchang23/petsc/src/dm/impls/plex/plexlabel.c<br>[1]PETSC ERROR: [1] DMPlexLabelComplete line 72 /home/jchang23/petsc/src/dm/impls/plex/plexsubmesh.c<br>[1]PETSC ERROR: [1] DMCreateDefaultSection_Plex line 5368 /home/jchang23/petsc/src/dm/impls/plex/plex.c<br>[1]PETSC ERROR: [1] DMGetDefaultSection line 2974 /home/jchang23/petsc/src/dm/interface/dm.c<br>[1]PETSC ERROR: [1] DMGetDefaultGlobalSection line 3129 /home/jchang23/petsc/src/dm/interface/dm.c<br>[1]PETSC ERROR: [1] DMCreateGlobalVector_Section_Private line 12 /home/jchang23/petsc/src/dm/interface/dmi.c<br>[1]PETSC ERROR: [1] DMCreateGlobalVector_Plex line 1152 /home/jchang23/petsc/src/dm/impls/plex/plexcreate.c<br>[1]PETSC ERROR: [1] DMCreateGlobalVector line 683 /home/jchang23/petsc/src/dm/interface/dm.c<br>[1]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------<br>[1]PETSC ERROR: Signal received<br>[1]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html">http://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.<br>[1]PETSC ERROR: Petsc Development GIT revision: v3.5.2-1351-g37b8796  GIT Date: 2015-01-11 11:57:24 -0600<br>[1]PETSC ERROR: ./petsc/src/snes/examples/tutorials/ex12 on a arch-linux2-c-opt named compute-2-7.local by jchang23 Sun Jan 11 21:55:42 2015<br>[1]PETSC ERROR: Configure options --download-fblaslapack --download-hdf5 --download-metis --download-parmetis --with-c=gcc --with-cmake=cmake --with-debugging=1 --with-fc-gfortran --with-mpi-dir=/share/apps/openmpi-1.8.3/ CPPFLAGS=-I/share/apps/openmpi-1.8.3/include LDFLAGS=-L/share/apps/openmpi-1.8.3/lib PETSC_ARCH=arch-linux2-c-opt download-chaco --download-triangle<br>[1]PETSC ERROR: #1 User provided function() line 0 in  unknown file<br>--------------------------------------------------------------------------<br><br></div>I have no idea what this means. Here is the script file used to run the problem with:<br><br>#!/bin/bash<br>#SBATCH -J test<br>#SBATCH -o test.txt<br>#SBATCH -N 2<br><br>mpirun -np 2 ./ex12 -run_type full -refinement_limit 0.00015625 -interpolate 1 -petscspace_order 2 -pc_type gamg -ksp_rtol 1.0e-10 -ksp_monitor_short -ksp_converged_reason -snes_monitor_short -snes_converged_reason -petscpartitioner_type parmetis<br><br>---<br><br></div>Any help appreciated it, thanks<br><br>Justin<br><div><br></div></div>