<div dir="ltr">OK, you meant in gdb. rocgdb seems to be hung here. Do you see a problem?<div>Thanks,<br><div><br></div><div>+ srun -n1 -N1 --ntasks-per-gpu=1 --gpu-bind=closest rocgdb --args ../ex13 -dm_plex_box_faces 2,2,2 -petscpartitioner_simple_process_grid 2,2,2 -dm_plex_box_upper 1,1,1 -petscpartitioner_simple_node_grid 1,1,1 -dm_refine 6 -dm_view -dm_mat_type aijkokkos -dm_vec_type kokkos -pc_type jacobi -log_view -ksp_view -use_gpu_aware_mpi true<br>GNU gdb (rocm-rel-4.5-56) 11.1<br>Copyright (C) 2021 Free Software Foundation, Inc.<br>License GPLv3+: GNU GPL version 3 or later <<a href="http://gnu.org/licenses/gpl.html">http://gnu.org/licenses/gpl.html</a>><br>This is free software: you are free to change and redistribute it.<br>There is NO WARRANTY, to the extent permitted by law.<br>Type "show copying" and "show warranty" for details.<br>This GDB was configured as "x86_64-pc-linux-gnu".<br>Type "show configuration" for configuration details.<br>For bug reporting instructions, please see:<br><<a href="https://github.com/ROCm-Developer-Tools/ROCgdb/issues">https://github.com/ROCm-Developer-Tools/ROCgdb/issues</a>>.<br>Find the GDB manual and other documentation resources online at:<br>    <<a href="http://www.gnu.org/software/gdb/documentation/">http://www.gnu.org/software/gdb/documentation/</a>>.<br><br>For help, type "help".<br>Type "apropos word" to search for commands related to "word"...<br>Reading symbols from ../ex13...<br></div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 24, 2022 at 10:43 AM Paul T. Bauman <<a href="mailto:ptbauman@gmail.com">ptbauman@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 24, 2022 at 9:31 AM Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Thanks Paul,<div><br></div><div>How do I get a stack trace? I have been relying on PETSc's which piggybacks on timers so it is not getting too deep here.</div></div></blockquote><div><br></div><div>I'm not sure what the "PETSc way" is, but I just run the executable through `rocgdb` as one would do with `gdb` (`rocgdb` is literally `gdb` built with extra AMD stuff (that stuff is either upstreamed or being upstreamed to gdb BTW)). You can do it in batch mode as well so you can dump the logs from each MPI process. <br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 24, 2022 at 10:16 AM Paul T. Bauman <<a href="mailto:ptbauman@gmail.com" target="_blank">ptbauman@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 24, 2022 at 8:53 AM Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">On Mon, Jan 24, 2022 at 9:24 AM Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div>What is the fastest way to rebuild hypre? reconfiguring did not work and is slow.</div><div><br></div></div><div>I am printf debugging to find this HSA_STATUS_ERROR_MEMORY_FAULT  (no debuggers other than valgrind on Crusher??!?!) </div></div></blockquote></div></div></blockquote><div><br></div><div>Again, apologies for interjecting, but I wanted to offer a few pointers here.</div><div><br></div><div>1. `rocgdb` will be in your PATH when the `rocm` module is loaded. This is gdb, but with some extra AMDGPU goodies. AFAIK, you cannot, yet, do stepping through a kernel in the source (only the ISA), but you can query device variables in host code, print their values, etc.<br></div><div>1a. Note that multiple threads can be spawned by the HIP runtime. Furthermore, it's likely the thread you'll be on when you catch the error is (one of) the runtime thread(s). You'll need to do `info threads` and then select your host thread to get back to it.</div><div>2. To get an accurate stacktrace (meaning get the line in the host code where the error is actually happening), I recommend setting the following environment variables for debugging that will force the serialization of async memcopies and kernel launches: <br></div><div><span style="color:rgb(255,255,255);font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-size:16px;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:left;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(41,41,41);text-decoration-style:initial;text-decoration-color:initial;display:inline;float:none">AMD_SERIALIZE_KERNEL = 3<br></span></div><div><span style="color:rgb(255,255,255);font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-size:16px;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:left;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(41,41,41);text-decoration-style:initial;text-decoration-color:initial;display:inline;float:none">AMD_SERIALIZE_COPY=3</span></div><div><span style="color:rgb(255,255,255);font-family:"Segoe UI",system-ui,"Apple Color Emoji","Segoe UI Emoji",sans-serif;font-size:16px;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:left;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(41,41,41);text-decoration-style:initial;text-decoration-color:initial;display:inline;float:none"><br></span></div><div>Thanks,</div><div><br></div><div>Paul<br></div></div></div>
</blockquote></div>
</blockquote></div></div>
</blockquote></div>