<div dir="ltr">Valgrind is a good place to start, but it can be hard to use ... so if you are clean or don't want to bother, DDT is useful.<div><br></div><div>If you have ddt you can simply run interactively and "pause all" and poke around and collect some stack traces (at least one) which is super useful.</div><div><br></div><div>You can run non-interactively with something like:</div><div><br></div><div>srun -n 4 ddt --offline --output=ddt-output.html --snapshot-interval=<MINUTES> ./myprogram</div><div><br></div><div>This should dump a stack trace, periodically, into ddt-output.html that is readable and has stack variables, for all processors.</div><div><br></div><div>Mark</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jul 18, 2025 at 4:09 PM Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com" target="_blank">junchao.zhang@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Do you have any chance to collect stack traces of all the MPI processes?</div><div><br></div><div>--Junchao Zhang</div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jul 18, 2025 at 12:20 PM Edoardo alinovi <<a href="mailto:edoardo.alinovi@gmail.com" target="_blank">edoardo.alinovi@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hello Petsc friends,<div><br></div><div>Hope you are all doing well.</div><div><br></div><div>Today I was doing a simulation (27Mln cell on 64 cores) and I came across an issue. Indeed, I am  deadlocking somewhere in <i>MatMPIAIJSetPreallocation. D</i>o you have any clue about the reason for this? Any suggestions to track this down?</div><div><br></div><div>Many thanks,</div><div><br></div><div>Edo</div></div>
</blockquote></div>
</blockquote></div>