<div dir="ltr">Hi Barry, <div><br></div><div>Thanks for the explanation. </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Oct 5, 2022 at 4:11 PM Barry Smith <<a href="mailto:bsmith@petsc.dev">bsmith@petsc.dev</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div style="line-break:after-white-space"><div><br></div>  It prints Nan to indicate that the time for that event is not known accurately. But the times for the larger events that contain these events are known. So for example the time for KSPSolve is know but not the time for VecNorm.  The other numbers in the events, like number of times called etc that are not Nan are correct as displayed.<div><br></div><div>  This is done because correctly tracking the times of the individual events requires synchronizations that slow down the entire calculation a bit; for example the time for the KSPSolve will register a longer time then it registers if the smaller events are not timed.</div><div><br></div><div>  To display the times of the smaller events use -log_view_gpu_time also but note this will increase the times of the larger events a bit.</div><div><br></div><div>  Barry</div><div><br><div><br><blockquote type="cite"><div>On Oct 5, 2022, at 4:47 PM, Sajid Ali <<a href="mailto:sajidsyed2021@u.northwestern.edu" target="_blank">sajidsyed2021@u.northwestern.edu</a>> wrote:</div><br><div><div dir="ltr">Hi PETSc-developers, <div><br></div><div>I'm having trouble with getting performance logs from an application that uses PETSc. There are no issues when I run it on a CPU, but every time a GPU is used there is no timing data and almost all times are replaced by times that are just `nan` (on two different clusters). I am attaching the log files for both cases with this email. Could someone explain what is happening here ?<br><br>In case it helps, here are the routines used to initialize/finalize the application that also handle initializing/finalizing PETSc and printing the PETSc performance logs to PETSC_VIEWER_STDOUT_WORLD : <a href="https://github.com/fnalacceleratormodeling/synergia2/blob/devel3/src/synergia/utils/utils.h" target="_blank">https://github.com/fnalacceleratormodeling/synergia2/blob/devel3/src/synergia/utils/utils.h</a></div><div><br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt"></div>

<div></div>

Thank You,<br>
<div dir="ltr">
<div dir="ltr">
<div>
<div dir="ltr">
<div>
<div dir="ltr">
<div style="font-size:12.8px">Sajid Ali (he/him) | Research Associate<br>
</div>
<div style="font-size:12.8px">Scientific Computing Division<br>
</div>
<div style="font-size:12.8px">Fermi National Accelerator Laboratory<br>
</div>
<span style="font-size:12.8px"><a href="http://s-sajid-ali.github.io/" target="_blank">s-sajid-ali.github.io</a></span></div>
</div>
</div>
</div>
</div>
</div></div></div></div></div></div></div></div></div>
<span id="m_-493786826402764828cid:f_l8w31cwk1"><log-gpu></span><span id="m_-493786826402764828cid:f_l8w3oybb1"><log-cpu></span></div></blockquote></div><br></div></div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"></div>

<div></div>

Thank You,<br>
<div dir="ltr">
<div dir="ltr">
<div>
<div dir="ltr">
<div>
<div dir="ltr">
<div style="font-size:12.8px">Sajid Ali (he/him) | Research Associate<br>
</div>
<div style="font-size:12.8px">Scientific Computing Division<br>
</div>
<div style="font-size:12.8px">Fermi National Accelerator Laboratory<br>
</div>
<span style="font-size:12.8px"><a href="http://s-sajid-ali.github.io" target="_blank">s-sajid-ali.github.io</a></span></div>
</div>
</div>
</div>
</div>
</div></div></div></div></div></div></div>