<html><head><style type="text/css"><!-- DIV {margin:0px;} --></style></head><body><div style="font-family:times new roman, new york, times, serif;font-size:12pt"><DIV>D,</DIV>
<DIV>sorry for the confusion.&nbsp; In our application, the setting is different from the code</DIV>
<DIV>Pavan posted.&nbsp; I will try to have them lined up here, (&lt;--- is between thread,</DIV>
<DIV>&lt;==== is between proc)</DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proc 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proc 1</DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp; main thread&nbsp;&nbsp;&nbsp; recv thread</DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp;&nbsp;do_work()&nbsp;&nbsp;&nbsp;&nbsp; MPI_Irecv&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; do_work()</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; MPI_Wait*()&nbsp;&nbsp;&lt;=======&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MPI_Send()</DIV>
<DIV>&nbsp;&nbsp;blocked&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;--- unblock&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; do_very_litle_work()</DIV>
<DIV>&nbsp; MPI_Send&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;==========&gt;&nbsp;&nbsp;&nbsp;MPI_Recv()</DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp;</DIV>
<DIV>I don't know if the MPI_Recv call in&nbsp;Proc 1 is interferring with the MPI_Wait*() in&nbsp;Proc 1.&nbsp; We</DIV>
<DIV>see heavy system activity in Proc 1.&nbsp; </DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </DIV>
<DIV>tan</DIV>
<DIV>&nbsp;</DIV>
<DIV><BR>&nbsp;</DIV>
<DIV style="FONT-FAMILY: times new roman, new york, times, serif; FONT-SIZE: 12pt"><BR>
<DIV style="FONT-FAMILY: arial, helvetica, sans-serif; FONT-SIZE: 13px"><FONT size=2 face=Tahoma>
<HR SIZE=1>
<B><SPAN style="FONT-WEIGHT: bold">From:</SPAN></B> Darius Buntinas &lt;buntinas@mcs.anl.gov&gt;<BR><B><SPAN style="FONT-WEIGHT: bold">To:</SPAN></B> mpich-discuss@mcs.anl.gov<BR><B><SPAN style="FONT-WEIGHT: bold">Sent:</SPAN></B> Thursday, July 30, 2009 11:17:52 AM<BR><B><SPAN style="FONT-WEIGHT: bold">Subject:</SPAN></B> Re: [mpich-discuss] thread MPI calls<BR></FONT><BR>That sounds fishy.&nbsp; If process 1 is doing a sleep(), you shouldn't see<BR>any activity from that process!&nbsp; Can you double check that?<BR><BR>-d<BR><BR>On 07/30/2009 01:05 PM, chong tan wrote:<BR>&gt; pavan,<BR>&gt; the behavior you described is the expected behavior.&nbsp; However, using<BR>&gt; your example, we are also seeing<BR>&gt; a lot of system activity in process 1 in all of our experiments.&nbsp; That<BR>&gt; contributes significantly<BR>&gt; to the negative gain.<BR>&gt;&nbsp; <BR></DIV></DIV></div><br>

      </body></html>