<div dir="ltr">If I want to know whether only rank 0 is slow (since it may has more io) or actually a portion of cores are slow, what tools can I start with?<div><br></div><div>Thanks.</div><div><br></div><div>Xiangdong  <br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Feb 5, 2016 at 5:27 PM, Jed Brown <span dir="ltr"><<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Matthew Knepley <<a href="mailto:knepley@gmail.com">knepley@gmail.com</a>> writes:<br>
>> I attached the full summary. At the end, it has<br>
>><br>
>> Average time to get PetscTime(): 0<br>
>> Average time for MPI_Barrier(): 8.3971e-05<br>
>> Average time for zero size MPI_Send(): 7.16746e-06<br>
>><br>
>> Is it an indication of slow network?<br>
>><br>
><br>
> I think so. It takes nearly 100 microseconds to synchronize processes.<br>
<br>
</span>Edison with 65536 processes:<br>
Average time for MPI_Barrier(): 4.23908e-05<br>
Average time for zero size MPI_Send(): 2.46466e-06<br>
<br>
Mira with 16384 processes:<br>
Average time for MPI_Barrier(): 5.7075e-06<br>
Average time for zero size MPI_Send(): 1.33179e-05<br>
<br>
Titan with 131072 processes:<br>
Average time for MPI_Barrier(): 0.000368595<br>
Average time for zero size MPI_Send(): 1.71567e-05<br>
</blockquote></div><br></div></div></div>