<div dir="ltr">Can you get a stack trace?<div><br></div><div>  Matt</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Apr 16, 2021 at 10:19 AM Mark Adams <<a href="mailto:mfadams@lbl.gov">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">That seems to have changed it. No stack trace.<div><br></div><div>srun  -G 1 -c 2 -n 1  ./ex2 -petscspace_degree 3 -ex2_test_type spitzer -dm_landau_Ez 0 -dm_landau_ion_masses .01 -dm_landau_ion_charges 1 -dm_landau_thermal_temps 2,1 -dm_landau_n 1,1 -ts_type beuler -ts_exact_final_time stepover -ts_max_steps 2 -ts_dt 1 -ts_monitor -snes_monitor -snes_max_it 25 -snes_rtol 1.e-14 -snes_stol 1.e-14 -pc_type lu -ksp_type preonly -dm_landau_type p4est -dm_landau_amr_levels_max 13 -dm_landau_amr_post_refine 1 -dm_preallocate_only -ex2_plot_dt .0001 -dm_landau_device_type cuda -dm_mat_type aijcusparse -dm_vec_type cuda -display :0.0<br>[0]PETSC ERROR: ------------------------------------------------------------------------<br>[0]PETSC ERROR: Caught signal number 4 Illegal instruction: Likely due to memory corruption<br>[0]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger<br>[0]PETSC ERROR: or see <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br>[0]PETSC ERROR: or try <a href="http://valgrind.org" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS X to find memory corruption errors<br>[0]PETSC ERROR: configure using --with-debugging=yes, recompile, link, and run <br>[0]PETSC ERROR: to get more information on the crash.<br>[0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------<br>[0]PETSC ERROR: Signal received<br>[0]PETSC ERROR: See <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.<br>[0]PETSC ERROR: Petsc Development GIT revision: v3.15.0-205-g2283897782  GIT Date: 2021-04-15 09:38:17 -0400<br>[0]PETSC ERROR: /global/u2/m/madams/petsc/src/ts/utils/dmplexlandau/tutorials/./ex2 on a arch-cori-gpu80-opt-kokkos-gcc named cgpu19 by madams Fri Apr 16 07:16:28 2021<br>[0]PETSC ERROR: Configure options --with-mpi-dir=/usr/common/software/sles15_cgpu/openmpi/4.0.3/gcc --with-cuda-dir=/usr/common/software/sles15_cgpu/cuda/11.1.1 CFLAGS="   -g -DPETSC_HAVE_CUDA_ATOMIC" CXXFLAGS=" -g -DPETSC_HAVE_CUDA_ATOMIC" FFLAGS="   -g " COPTFLAGS="   -O" CXXOPTFLAGS=" -O" FOPTFLAGS="   -O" --CUDAFLAGS="-arch=sm_80 -Xcompiler -rdynamic -lineinfo -DPETSC_HAVE_CUDA_ATOMIC -g" --CUDAOPTFLAGS=-O3 --download-fblaslapack=1 --with-debugging=0 --download-kokkos --download-kokkos-kernels --with-kokkos-cuda-arch=AMPERE80 --with-kokkos-kernels-tpl=0 --with-make-np=8 --with-ctable=0 --with-mpiexec="srun -G 1 -c 2" --with-batch=0 PETSC_ARCH=arch-cori-gpu80-opt-kokkos-gcc --with-cuda=1 --download-p4est=1 --with-zlib=1<br>[0]PETSC ERROR: #1 User provided function() at unknown file:0<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Apr 16, 2021 at 10:02 AM Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">On Fri, Apr 16, 2021 at 9:58 AM Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I am running on a new AMPERE80 node at NERSc and get this error message. I put this in totalview but did not get anything useful.<div><br></div><div>Any ideas?</div></div></blockquote><div><br></div><div>Maybe getenv() is failing?</div><div><br></div><div>You can shutoff this behavior using</div><div><br></div><div>  -display :0.0</div><div><br></div><div>   Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div>cgpu19:228520:0:228520] Caught signal 4 (Illegal instruction: illegal operand)<br>==== backtrace (tid: 228520) ====<br> 0  /usr/common/software/sles15_cgpu/ucx/1.8.1/lib/libucs.so.0(ucs_handle_error+0x2e4) [0x2aab2e9a2ac4]<br> 1  /usr/common/software/sles15_cgpu/ucx/1.8.1/lib/libucs.so.0(+0x21cc4) [0x2aab2e9a2cc4]<br> 2  /usr/common/software/sles15_cgpu/ucx/1.8.1/lib/libucs.so.0(+0x21d33) [0x2aab2e9a2d33]<br> 3  /global/homes/m/madams/petsc/arch-cori-gpu80-opt-kokkos-gcc/lib/libpetsc.so.3.015(PetscSetDisplay+0x152) [0x2aaaaaf19ab1]<br> 4  /global/homes/m/madams/petsc/arch-cori-gpu80-opt-kokkos-gcc/lib/libpetsc.so.3.015(+0x21c7bc) [0x2aaaaaeef7bc]<br> 5  /global/homes/m/madams/petsc/arch-cori-gpu80-opt-kokkos-gcc/lib/libpetsc.so.3.015(<b>PetscInitialize</b>+0x449) [0x2aaaaaef5278]<br> 6  /global/u2/m/madams/petsc/src/ts/utils/dmplexlandau/tutorials/./ex2() [0x405b62]<br> 7  /lib64/libc.so.6(__libc_start_main+0xea) [0x2aab1344df8a]<br> 8  /global/u2/m/madams/petsc/src/ts/utils/dmplexlandau/tutorials/./ex2() [0x4026aa]<br>=================================<br>srun: error: cgpu19: task 0: Illegal instruction<br>srun: Terminating job step 1821681.10<br></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>
</blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div>