<div dir="ltr">I did not know about  -log_trace.<div>Good to know,</div><div>Thanks</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Apr 23, 2021 at 8:19 AM Stefano Zampini <<a href="mailto:stefano.zampini@gmail.com">stefano.zampini@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><br></div><div>I'm not talking about timings, I am talking about seeing where a code dies.</div><div></div></div></div></blockquote><div><br></div><div>When codes die within the MPI implementation is basically impossible to provide a backtrace from PETSc, but the MPI implementation may offer some verbose messaging.</div><div>If this happens quite early in the code (and I presume here we are failing somewhere in the 1-to-all pattern when distributing the plex data structure) running with -log_trace may get you some insight on where this is happening  (provided that the offending PETSc routine calls LogEventBegin/End)</div><div><br></div><div>In my experience, the sad story is that when there are software vendor failures with a large number of processes, I haven't found anything more efficient than a few bisection steps with good old printfs.... </div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div><div>As a side note, one would expect that this kind of behavior is consistent across the library.</div><div>But in fact, it isn’t. If you do something like -sub_ksp_view_pmat file with, for example, DD preconditioners, you end up with a single file with all local matrices scrambled in.</div><div>It would be nice to have the same logic, i.e., file.%p, and be able to filter ranks that actually print to file like you suggest.</div><div>These kind of options are less critical than -info so I can just insert them in the option database after initialization, if rank == view_this_rank PetscOptionsInsertString(), but doing that using command line arguments would be easier and more elegant, IMO. </div><div><br></div><div>Thanks,</div><div>Pierre</div><br><blockquote type="cite"><div><div><div><div>  Barry<br><div><br><blockquote type="cite"><div>On Apr 22, 2021, at 11:14 AM, Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:</div><br><div><div dir="ltr">OK, so -info out.%p would do what I asked. Alas, what I really need it to reduce the output with 128K processes.<div>Thanks,</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Apr 22, 2021 at 11:54 AM Pierre Jolivet <<a href="mailto:pierre@joliv.et" target="_blank">pierre@joliv.et</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><br><div><br><blockquote type="cite"><div>On 22 Apr 2021, at 5:33 PM, Jacob Faibussowitsch <<a href="mailto:jacob.fai@gmail.com" target="_blank">jacob.fai@gmail.com</a>> wrote:</div><br><div><div>Not out of the box no. There is -info ::self which makes info only print from calls made on PETSC_COMM_SELF, but I don’t think that’s what you want. Best advice would be to print to a file and grep the file for any lines starting with the rank number you want.</div></div></blockquote><div><br></div><div>There is no need for grep, IMHO, just do -info file and then open file.%p</div><div><br></div><div>Thanks,</div><div>Pierre</div><br><blockquote type="cite"><div><div><div><div><div>
<div dir="auto" style="letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><div dir="auto" style="letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><div>Best regards,<br><br>Jacob Faibussowitsch<br>(Jacob Fai - booss - oh - vitch)<br></div></div></div>
</div>
<div><br><blockquote type="cite"><div>On Apr 22, 2021, at 10:16, Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:</div><br><div><div dir="ltr">Can I make -info only print from one process?<div>Mark</div></div>
</div></blockquote></div><br></div></div></div></div></blockquote></div><br></div></blockquote></div>
</div></blockquote></div><br></div></div></div></div></blockquote></div><br></div></blockquote></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr">Stefano</div></div>
</blockquote></div>