<HTML><BODY style="word-wrap: break-word; -khtml-nbsp-mode: space; -khtml-line-break: after-white-space; ">Can you send us the test case?  Does it fail with the ch3:sock device?  Are the messages short or long?  <DIV><BR class="khtml-block-placeholder"></DIV><DIV>Bill</DIV><DIV><BR><DIV><DIV>On Jan 17, 2007, at 7:06 PM, chong tan wrote:</DIV><BR class="Apple-interchange-newline"><BLOCKQUOTE type="cite"><SPAN class="Apple-style-span" style="border-collapse: separate; border-spacing: 0px 0px; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; text-align: auto; -khtml-text-decorations-in-effect: none; text-indent: 0px; -apple-text-size-adjust: auto; text-transform: none; orphans: 2; white-space: normal; widows: 2; word-spacing: 0px; "><DIV style="font-family:times new roman, new york, times, serif;font-size:12pt; font-family: times new roman; font-size: 16px; "><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">OS : RedHat Enterprise 4, 2.6.9-42.ELsmp</SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">CPU   4 dual core Intel</SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; "> </SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">the package was built with :</SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">setenv CFLAGS "-m32 -O2"</SPAN><BR style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">setenv CC         gcc</SPAN><BR style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">./configure -prefix=/u/cgtan/my_release_dir --with-device=ch3:ssm --enable-fast |&amp; tee configure.log</SPAN><BR style="font-family: times new roman; font-size: 16px; "></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">-----</SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">the test programs run 5 processes, one master and 4 slaves.  Master always recv from slaves and them send to all of them.  Randomly, an MPI_Send performed in the master will complete, but the corresponidng MPI_Recv in the targeted slave would not complete, and the who thing hangs. </SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; "> </SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">I have a debugging mechanism that attachs a sequence id to all packages sent.  The packages are dumped before and after sent, and recv.  a message is also dumped on the the pending recv.  The sequence id traced OK all the way to the lost package.</SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; "> </SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">The same code work fine with 2.1.04p1.  it has been tested on test cases longer than 100 million send/recv sequences.  any suggestions ?</SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; "> </SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; ">tan</SPAN></DIV><DIV style="font-family: times new roman; font-size: 16px; "><SPAN class="Apple-style-span" style="font-family: times new roman; font-size: 16px; "> </SPAN></DIV></DIV><BR><HR size="1"><A href="http://us.rd.yahoo.com/evt=49935/*http://games.yahoo.com"><SPAN class="Apple-style-span" style="color: rgb(0, 0, 238); -khtml-text-decorations-in-effect: underline; ">Bored stiff?</SPAN></A><SPAN class="Apple-converted-space"> </SPAN>Loosen up...<BR><A href="http://us.rd.yahoo.com/evt=49935/*http://games.yahoo.com"><SPAN class="Apple-style-span" style="color: rgb(0, 0, 238); -khtml-text-decorations-in-effect: underline; ">Download and play hundreds of games for free</SPAN></A><SPAN class="Apple-converted-space"> </SPAN>on Yahoo! Games.</SPAN></BLOCKQUOTE></DIV><BR></DIV></BODY></HTML>