<html><head><style type="text/css"><!-- DIV {margin:0px;} --></style></head><body><div style="font-family:times new roman, new york, times, serif;font-size:12pt"><DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif"><BR>Any suggestion for solution on Solaris other than socket ?&nbsp;&nbsp; For SMP and Niagra boxes, socket is a very bad solution.</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">&nbsp;</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">tan</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif"><BR>&nbsp;</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">----- Original Message ----<BR>From: Rajeev Thakur &lt;thakur@mcs.anl.gov&gt;<BR>To: chong tan &lt;chong_guan_tan@yahoo.com&gt;<BR>Cc: Darius Buntinas &lt;buntinas@mcs.anl.gov&gt;<BR>Sent: Wednesday, July 18, 2007 4:39:24 PM<BR>Subject: RE: [MPICH] MPICH105 shm drops packages on SUN niagara<BR><BR>
<STYLE type=text/css>DIV {
MARGIN:0px;}
</STYLE>

<DIV dir=ltr align=left><SPAN class=993553823-18072007><FONT face=Arial color=#0000ff size=2>Not in the next release (1.0.6) which will be out in a couple of weeks.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=993553823-18072007><FONT face=Arial color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=993553823-18072007><FONT face=Arial color=#0000ff size=2>Rajeev</FONT></SPAN></DIV><BR>
<BLOCKQUOTE style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> chong tan [mailto:chong_guan_tan@yahoo.com] <BR><B>Sent:</B> Wednesday, July 18, 2007 6:33 PM<BR><B>To:</B> Rajeev Thakur<BR><B>Subject:</B> Re: [MPICH] MPICH105 shm drops packages on SUN niagara<BR></FONT><BR></DIV>
<DIV></DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">will nemesis be supported on SUN Solaris in the next release ?</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">tan</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif"><BR><BR>&nbsp;</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">----- Original Message ----<BR>From: Rajeev Thakur &lt;thakur@mcs.anl.gov&gt;<BR>To: chong tan &lt;chong_guan_tan@yahoo.com&gt;; mpich-discuss@mcs.anl.gov<BR>Sent: Wednesday, July 18, 2007 3:42:56 PM<BR>Subject: RE: [MPICH] MPICH105 shm drops packages on SUN niagara<BR><BR>
<STYLE type=text/css>DIV {
MARGIN:0px;}
</STYLE>

<DIV dir=ltr align=left><SPAN class=040204222-18072007><FONT face=Arial color=#0000ff size=2>No we didn't get a chance. Most of our current development is in Nemesis.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=040204222-18072007><FONT face=Arial color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=040204222-18072007><FONT face=Arial color=#0000ff size=2>Rajeev</FONT></SPAN></DIV><BR>
<BLOCKQUOTE style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> owner-mpich-discuss@mcs.anl.gov [mailto:owner-mpich-discuss@mcs.anl.gov] <B>On Behalf Of </B>chong tan<BR><B>Sent:</B> Wednesday, July 18, 2007 2:18 PM<BR><B>To:</B> mpich-discuss@mcs.anl.gov<BR><B>Subject:</B> Re: [MPICH] MPICH105 shm drops packages on SUN niagara<BR></FONT><BR></DIV>
<DIV></DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">Any update on this problem ?&nbsp; </DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">thanks</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">tan</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif"><BR><BR>&nbsp;</DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif">----- Original Message ----<BR>From: William Gropp &lt;gropp@mcs.anl.gov&gt;<BR>To: chong tan &lt;chong_guan_tan@yahoo.com&gt;<BR>Cc: mpich-discuss@mcs.anl.gov<BR>Sent: Wednesday, May 16, 2007 11:24:46 AM<BR>Subject: Re: [MPICH] MPICH105 shm drops packages on SUN niagara<BR><BR>We're looking at it; I've added a variation of this to our regular tests.&nbsp; No solution yet, however.&nbsp; My guess is that there is a missing volatile or memory barrier somewhere; this should force us to clean up the current code. 
<DIV><BR class=khtml-block-placeholder></DIV>
<DIV>Bill</DIV>
<DIV><BR>
<DIV>
<DIV>On May 16, 2007, at 12:18 PM, chong tan wrote:</DIV><BR class=Apple-interchange-newline>
<BLOCKQUOTE type="cite"><SPAN class=Apple-style-span style="WORD-SPACING: 0px; FONT: 12px Helvetica; TEXT-TRANSFORM: none; COLOR: rgb(0,0,0); TEXT-INDENT: 0px; WHITE-SPACE: normal; LETTER-SPACING: normal; BORDER-COLLAPSE: separate; border-spacing: 0px 0px; orphans: 2; widows: 2">
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">No taker on this ?&nbsp; There is an identical proble on Linux.&nbsp; Just that I am not sure if this code can reproduce the problem.&nbsp;</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">tan</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">----- Original Message ----</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">From: chong tan &lt;<A href="mailto:chong_guan_tan@yahoo.com" target=_blank rel=nofollow>chong_guan_tan@yahoo.com</A>&gt;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">To: <A href="mailto:mpich-discuss@mcs.anl.gov" target=_blank rel=nofollow>mpich-discuss@mcs.anl.gov</A></SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">Sent: Friday, April 27, 2007 3:24:09 PM</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE:
 16px; FONT-FAMILY: times new roman">Subject: Re: [MPICH] MPICH105 shm drops packages on SUN niagara</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">The following code reproduces the problem.&nbsp; I think you maybe able to reproduce the error on</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">Linux, but I am not sure.</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></SPAN>&nbsp;</DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></SPAN>&nbsp;</DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">It is best to run :</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">mpiexec -n&nbsp;8 a.out</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">to reproduce the problem.&nbsp; You will need a machine with 8CPU/cores.&nbsp; SOmetime you will need to</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">run the code multiple time to see the error.</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></SPAN>&nbsp;</DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">there will be files fast_mpi_?.dmp created, where ? is the rank of the related 'rank'.&nbsp; When MPI get stuck,</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">you should look at the last line of fast_mpi_0.dmp.&nbsp; If it says:</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp; read from child 7</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></SPAN>&nbsp;</DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">then you should look at the last line of fast_mpi_7.dmp, it will say:</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp; read from master</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></SPAN>&nbsp;</DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">hope this help to debug the error.</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></SPAN>&nbsp;</DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">thanks</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">tan</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">---------------------</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">#include "stdlib.h"</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">#include "stdio.h"</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">#include "mpi.h"</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></SPAN>&nbsp;</DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">#define LOOP_COUNT&nbsp; 1000000</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">#define DATA_SIZE&nbsp;&nbsp; 4</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">#define MP_TAG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 999</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">main()</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">{</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; int&nbsp;&nbsp;&nbsp;&nbsp; nProc, rank ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; int&nbsp;&nbsp;&nbsp;&nbsp; argc = 0 ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; int&nbsp;&nbsp;&nbsp;&nbsp; i, j, status ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new
 roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; char&nbsp;&nbsp;&nbsp; buf[ 128 ] ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; FILE&nbsp;&nbsp;&nbsp; *pf ;</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; MPI_Init( &amp;argc, NULL ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; MPI_Comm_size( MPI_COMM_WORLD, &amp;nProc ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; MPI_Comm_rank( MPI_COMM_WORLD, &amp;rank ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; sprintf( buf, "fast_mpi_%d.dmp", rank ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;
 pf = fopen( buf, "w" ) ;</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; if( !rank ) {</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; int&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; **psend ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; int&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; **precv ;</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; psend = (int**)calloc( nProc, sizeof( int *) ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; precv = (int**)calloc( nProc, sizeof( int *) ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; for( i = 0 ; i &lt; nProc ; i++ ) {</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; psend[ i ] = (int*)calloc( DATA_SIZE, sizeof( int ) ) ;</SPAN><BR style="FONT-SIZE: 16px;
 FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; precv[ i ] = (int*)calloc( DATA_SIZE, sizeof( int ) ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; for( i = 0 ; i &lt; LOOP_COUNT ; i++ ) {</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fprintf( pf, "Master : loop %d\n", i ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span
 style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fflush( pf ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; for( j = 1 ; j &lt; nProc ; j++ ) {</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fprintf( pf, "&nbsp; read from child %d\n", j ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fflush( pf ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px;
 FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; status = MPI_Recv( precv[ j ], DATA_SIZE, MPI_LONG, j, MP_TAG, MPI_COMM_WORLD, MP</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">I_STATUS_IGNORE ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fprintf( pf, "&nbsp; read from child %d done, status = %d\n", j, status ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fflush( pf ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span
 style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; for( j = 1 ; j &lt; nProc ; j++ ) {</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fprintf( pf, "&nbsp; send to child %d\n", j ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fflush( pf ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times
 new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; status = MPI_Send( psend[ j ], DATA_SIZE - 1, MPI_LONG, j, MP_TAG, MPI_COMM_WORLD</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fprintf( pf, "&nbsp; send to child %d done, status = %d\n", j, status ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fflush( pf ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times
 new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; } else {</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; int&nbsp; *psend ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; int&nbsp; *precv ;</SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; psend = (int*)calloc( DATA_SIZE, sizeof( int ) ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; precv = (int*)calloc( DATA_SIZE, sizeof( int ) ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; for( i = 0 ; i &lt; LOOP_COUNT ; i++ ) {</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fprintf( pf, "&nbsp; send to master\n" ) ;</SPAN><BR style="FONT-SIZE: 16px;
 FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fflush( pf ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; status = MPI_Send( psend, DATA_SIZE - 1, MPI_LONG, 0, MP_TAG, MPI_COMM_WORLD ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fprintf( pf, "&nbsp; send to master done, status = %d\n", status ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new
 roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fflush( pf ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fprintf( pf, "&nbsp; read from master\n" ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fflush( pf ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; status = MPI_Recv( precv, DATA_SIZE, MPI_LONG, 0, MP_TAG, MPI_COMM_WORLD, MPI_STATUS_IGNORE ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN
 class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fprintf( pf, "&nbsp; read from master done, status = %d\n", status ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fflush( pf ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; }</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; fclose( pf
 ) ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">&nbsp;&nbsp;&nbsp; MPI_Finalize() ;</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">}</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></DIV></DIV><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">
<HR SIZE=1>
<SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">Ahhh...imagining that irresistible "new car" smell?</SPAN><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman">Check out </SPAN><A href="http://us.rd.yahoo.com/evt=48245/*http://autos.yahoo.com/new_cars.html;_ylc=X3oDMTE1YW1jcXJ2BF9TAzk3MTA3MDc2BHNlYwNtYWlsdGFncwRzbGsDbmV3LWNhcnM-" target=_blank rel=nofollow><SPAN class=Apple-style-span style="FONT-SIZE: 16px; COLOR: rgb(0,0,238); FONT-FAMILY: times new roman">new cars at Yahoo! Autos.</SPAN></A><SPAN class=Apple-style-span style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></SPAN></DIV>
<DIV style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"><BR style="FONT-SIZE: 16px; FONT-FAMILY: times new roman"></DIV></DIV><BR>
<HR SIZE=1>
Be a better Heartthrob.<SPAN class=Apple-converted-space>&nbsp;</SPAN><A href="http://us.rd.yahoo.com/evt=48255/*http://answers.yahoo.com/dir/_ylc=X3oDMTI5MGx2aThyBF9TAzIxMTU1MDAzNTIEX3MDMzk2NTQ1MTAzBHNlYwNCQUJwaWxsYXJfTklfMzYwBHNsawNQcm9kdWN0X3F1ZXN0aW9uX3BhZ2U-?link=list&amp;sid=396545433" target=_blank rel=nofollow><SPAN class=Apple-style-span style="COLOR: rgb(0,0,238)">Get better relationship answers </SPAN></A>from someone who knows.<BR>Yahoo! Answers - Check it out.</SPAN></BLOCKQUOTE></DIV><BR></DIV></DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif"><BR></DIV></DIV><BR>
<HR SIZE=1>
Get the Yahoo! toolbar and <A href="http://us.rd.yahoo.com/evt=48225/*http://new.toolbar.yahoo.com/toolbar/features/mail/index.php" target=_blank rel=nofollow>be alerted to new email </A>wherever you're surfing. </BLOCKQUOTE></DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif"><BR></DIV></DIV><BR>
<HR SIZE=1>
Need a vacation? <A href="http://us.rd.yahoo.com/evt=48256/*http://travel.yahoo.com/;_ylc=X3oDMTFhN2hucjlpBF9TAzk3NDA3NTg5BHBvcwM1BHNlYwNncm91cHMEc2xrA2VtYWlsLW5jbQ--" target=_blank rel=nofollow>Get great deals to amazing places </A>on Yahoo! Travel. </BLOCKQUOTE></DIV>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: times new roman, new york, times, serif"><BR></DIV></div><br>
      <hr size=1>Get the Yahoo! toolbar and <a href="http://us.rd.yahoo.com/evt=48225/*http://new.toolbar.yahoo.com/toolbar/features/mail/index.php">be alerted to new email </a>wherever you're surfing. </body></html>