<div dir="ltr"><div>Hi Dave,</div><div><br></div>This not always happens. I am trying to get performance measurement so that the PETSc is compiled with <span style="font-size:13px">--with-debugging=no. I will try later.  </span><div><span style="font-size:13px"><br></span></div><div><span style="font-size:13px">Thanks,</span><div><span style="font-size:13px">Fande,</span></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 27, 2015 at 12:08 PM, Dave May <span dir="ltr"><<a href="mailto:dave.mayhem23@gmail.com" target="_blank">dave.mayhem23@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div><div>There is little information in this stack trace.<br></div>You would get more information if you use a debug build of petsc. <br></div>e.g. configure with --with-debugging=yes<br></div>It is recommended to always debug problems using a debug build of petsc and a debug build of your application.<br><br></div>Thanks,<br></div>  Dave<br></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On 27 November 2015 at 20:05, Fande Kong <span dir="ltr"><<a href="mailto:fdkong.jd@gmail.com" target="_blank">fdkong.jd@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi all,<div><br></div><div>I implemented a parallel IO based on the Vec and IS which uses HDF5. I am testing this loader on a supercomputer. I occasionally (not always) encounter the following errors (using 8192 cores):</div><div><br></div><div>[7689]PETSC ERROR: ------------------------------------------------------------------------</div><div>[7689]PETSC ERROR: Caught signal number 5 TRAP</div><div>[7689]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger</div><div>[7689]PETSC ERROR: or see <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a></div><div>[7689]PETSC ERROR: or try <a href="http://valgrind.org" target="_blank">http://valgrind.org</a> on GNU/linux and Apple Mac OS X to find memory corruption errors</div><div>[7689]PETSC ERROR: configure using --with-debugging=yes, recompile, link, and run </div><div>[7689]PETSC ERROR: to get more information on the crash.</div><div>[7689]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------</div><div>[7689]PETSC ERROR: Signal received</div><div>[7689]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.</div><div>[7689]PETSC ERROR: Petsc Release Version 3.6.2, unknown </div><div>[7689]PETSC ERROR: ./fsi on a arch-linux2-cxx-opt named ys6103 by fandek Fri Nov 27 11:26:30 2015</div><div>[7689]PETSC ERROR: Configure options --with-clanguage=cxx --with-shared-libraries=1 --download-fblaslapack=1 --with-mpi=1 --download-parmetis=1 --download-metis=1 --with-netcdf=1 --download-exodusii=1 --with-hdf5-dir=/glade/apps/opt/hdf5-mpi/1.8.12/intel/12.1.5 --with-debugging=no --with-c2html=0 --with-64-bit-indices=1</div><div>[7689]PETSC ERROR: #1 User provided function() line 0 in  unknown file</div><div>Abort(59) on node 7689 (rank 7689 in comm 1140850688): application called MPI_Abort(MPI_COMM_WORLD, 59) - process 7689</div><div>ERROR: 0031-300  Forcing all remote tasks to exit due to exit code 1 in task 7689 </div><div><br></div><div>Make and configure logs are attached.</div><div><br></div><div>Thanks,</div><div><br></div><div>Fande Kong,</div><div><br></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>