<div>Hi,</div>
<div>&nbsp;</div>
<div>In other words, for my CFD code, it is not possible to parallelize it effectively because the problem is too small? </div>
<div>&nbsp;</div>
<div>Is these true for all parallel solver, or just PETSc? I was hoping to reduce the runtime since mine is an unsteady problem which requires many steps to reach a periodic state and it takes many hours to reach it.</div>

<div>&nbsp;</div>
<div>Lastly, if I&#39;m running on 2 processors, will there be improvement likely? </div>
<div>&nbsp;</div>
<div>Thank you.<br><br>&nbsp;</div>
<div><span class="gmail_quote">On 2/11/07, <b class="gmail_sendername">Barry Smith</b> &lt;<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>&gt; wrote:</span>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid"><br><br>On Sat, 10 Feb 2007, Ben Tay wrote:<br><br>&gt; Hi,<br>&gt;<br>&gt; I&#39;ve repeated the test with n,m = 800. Now serial takes around 11mins while
<br>&gt; parallel with 4 processors took 6mins. Does it mean that the problem must be<br>&gt; pretty large before it is more superior to use parallel?&nbsp;&nbsp;Moreover 800x800<br>&gt; means there&#39;s 640000 unknowns. My problem is a 2D CFD code which typically
<br>&gt; has 200x80=16000 unknowns. Does it mean that I won&#39;t be able to benefit from<br>&nbsp;&nbsp;&nbsp;&nbsp; ^^^^^^^^^^^<br>You&#39;ll never get much performance past 2 processors; its not even worth<br>all the work of having a parallel code in this case. I&#39;d just optimize the
<br>heck out of the serial code.<br><br>&nbsp;&nbsp;Barry<br><br><br><br>&gt; running in parallel?<br>&gt;<br>&gt; Btw, this is the parallel&#39;s log_summary:<br>&gt;<br>&gt;<br>&gt; Event&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Count&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Time (sec)<br>&gt; Flops/sec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --- Global ---&nbsp;&nbsp;--- Stage ---&nbsp;&nbsp; Total
<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Max Ratio&nbsp;&nbsp;Max&nbsp;&nbsp;&nbsp;&nbsp; Ratio&nbsp;&nbsp; Max&nbsp;&nbsp;Ratio&nbsp;&nbsp;Mess&nbsp;&nbsp; Avg len<br>&gt; Reduct&nbsp;&nbsp;%T %F %M %L %R&nbsp;&nbsp;%T %F %M %L %R Mflop/s<br>&gt; ------------------------------------------------------------------------------------------------------------------------
<br>&gt;<br>&gt; --- Event Stage 0: Main Stage<br>&gt;<br>&gt; MatMult&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1265 1.0 7.0615e+01 1.2 3.22e+07 1.2 7.6e+03 6.4e+03<br>&gt; 0.0e+00 16 11100100&nbsp;&nbsp;0&nbsp;&nbsp;16 11100100&nbsp;&nbsp;0&nbsp;&nbsp; 103<br>&gt; MatSolve&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1265 
1.0 4.7820e+01 1.2 4.60e+07 1.2 0.0e+00 0.0e+00<br>&gt; 0.0e+00 11 11&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;11 11&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 152<br>&gt; MatLUFactorNum&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 1.0 2.5703e-01 2.3 1.27e+07 2.3 0.0e+00 0.0e+00<br>&gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;22
<br>&gt; MatILUFactorSym&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 1.0 1.8933e-01 4.1 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; 2.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; MatAssemblyBegin&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 1.0 4.2153e-01 3.5 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; 
2.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; MatAssemblyEnd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 1.0 3.6475e-01 1.5 0.00e+00 0.0 6.0e+00 3.2e+03<br>&gt; 1.3e+01&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; MatGetOrdering&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 1.0 1.2088e-02
 1.0 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; 2.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; VecMDot&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1224 1.0 1.5314e+02 1.2 4.63e+07 1.2 0.0e+00 0.0e+00<br>&gt; 1.2e+03 36 36&nbsp;&nbsp;0&nbsp;&nbsp;0 31&nbsp;&nbsp;36 36&nbsp;&nbsp;0&nbsp;&nbsp;0 31&nbsp;&nbsp; 158<br>
&gt; VecNorm&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1266 1.0 1.0215e+02 1.1 4.31e+06 1.1 0.0e+00 0.0e+00<br>&gt; 1.3e+03 24&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;0 33&nbsp;&nbsp;24&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;0 33&nbsp;&nbsp;&nbsp;&nbsp;16<br>&gt; VecScale&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1265 1.0 3.7467e+00 1.5 8.34e+07 1.5 0.0e+00 0.0e+00<br>&gt; 0.0e+00
&nbsp;&nbsp;1&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 1&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 216<br>&gt; VecCopy&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41 1.0 2.5530e-01 2.8 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; VecSet&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1308 1.0 3.2717e+00 1.4
 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; 0.0e+00&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 1&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; VecAXPY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 82 1.0 5.3338e-01 2.8 1.40e+08 2.8 0.0e+00 0.0e+00<br>&gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 197<br>&gt; VecMAXPY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1265 
1.0 4.6234e+01 1.2 1.74e+08 1.2 0.0e+00 0.0e+00<br>&gt; 0.0e+00 10 38&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;10 38&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 557<br>&gt; VecScatterBegin&nbsp;&nbsp;&nbsp;&nbsp; 1265 1.0 1.5684e-01 1.6 0.00e+00 0.0 7.6e+03 6.4e+03<br>&gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0100100&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0100100&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt; VecScatterEnd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1265 1.0 4.3167e+01 1.3 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; 0.0e+00&nbsp;&nbsp;9&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 9&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; VecNormalize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1265 1.0 1.0459e+02 1.1 6.21e+06 1.1 0.0e+00 0.0e+00<br>&gt; 
1.3e+03 25&nbsp;&nbsp;4&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp;25&nbsp;&nbsp;4&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp;&nbsp;&nbsp;23<br>&gt; KSPGMRESOrthog&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1224 1.0 1.9035e+02 1.1 7.00e+07 1.1 0.0e+00 0.0e+00<br>&gt; 1.2e+03 45 72&nbsp;&nbsp;0&nbsp;&nbsp;0 31&nbsp;&nbsp;45 72&nbsp;&nbsp;0&nbsp;&nbsp;0 31&nbsp;&nbsp; 254<br>&gt; KSPSetup&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2 1.0 5.1674e-01
 1.2 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; 1.0e+01&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; KSPSolve&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 1.0 4.0269e+02 1.0 4.16e+07 1.0 7.6e+03 6.4e+03<br>&gt; 3.9e+03 99100100100 99&nbsp;&nbsp;99100100100 99&nbsp;&nbsp; 166<br>
&gt; PCSetUp&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2 1.0 4.5924e-01 2.6 8.23e+06 2.6 0.0e+00 0.0e+00<br>&gt; 6.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;12<br>&gt; PCSetUpOnBlocks&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 1.0 4.5847e-01 2.6 8.26e+06 2.6 0.0e+00 0.0e+00<br>&gt; 4.0e+00
&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;13<br>&gt; PCApply&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1265 1.0 5.0990e+01 1.2 4.33e+07 1.2 0.0e+00 0.0e+00<br>&gt; 1.3e+03 12 11&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp;12 11&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp; 143<br>&gt; ------------------------------------------------------------------------------------------------------------------------
<br>&gt;<br>&gt; Memory usage is given in bytes:<br>&gt;<br>&gt; Object Type&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Creations&nbsp;&nbsp; Destructions&nbsp;&nbsp; Memory&nbsp;&nbsp;Descendants&#39; Mem.<br>&gt;<br>&gt; --- Event Stage 0: Main Stage<br>&gt;<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Matrix&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4&nbsp;&nbsp;&nbsp;&nbsp; 643208&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Index Set&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;5&nbsp;&nbsp;&nbsp;&nbsp;1924296&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Vec&nbsp;&nbsp;&nbsp;&nbsp;41&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41&nbsp;&nbsp; 47379984&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Vec Scatter&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Krylov Solver&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;16880&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Preconditioner&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;196&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; ========================================================================================================================<br>&gt; Average time to get PetscTime(): 
1.00136e-06<br>&gt; Average time for MPI_Barrier(): 4.00066e-05<br>&gt; Average time for zero size MPI_Send(): 1.70469e-05<br>&gt; OptionTable: -log_summary<br>&gt; Compiled without FORTRAN kernels<br>&gt; Compiled with full precision matrices (default)
<br>&gt; sizeof(short) 2 sizeof(int) 4 sizeof(long) 4 sizeof(void*) 4<br>&gt; sizeof(PetscScalar) 8<br>&gt; Configure run at: Thu Jan 18 12:23:31 2007<br>&gt; Configure options: --with-vendor-compilers=intel --with-x=0 --with-shared
<br>&gt; --with-blas-lapack-dir=/lsftmp/g0306332/inter/mkl/lib/32<br>&gt; --with-mpi-dir=/opt/mpich/myrinet/intel/<br>&gt; -----------------------------------------<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>
&gt; On 2/10/07, Ben Tay &lt;<a href="mailto:zonexo@gmail.com">zonexo@gmail.com</a>&gt; wrote:<br>&gt; &gt;<br>&gt; &gt; Hi,<br>&gt; &gt;<br>&gt; &gt; I tried to use ex2f.F as a test code. I&#39;ve changed the number n,m from 3
<br>&gt; &gt; to 500 each. I ran the code using 1 processor and then with 4 processor. I<br>&gt; &gt; then repeat the same with the following modification:<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; do i=1,10<br>&gt; &gt;<br>
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; call KSPSolve(ksp,b,x,ierr)<br>&gt; &gt;<br>&gt; &gt; end do<br>&gt; &gt; I&#39;ve added to do loop to make the solving repeat 10 times.<br>&gt; &gt;<br>&gt; &gt; In both cases, the serial code is faster, 
e.g. 1 taking 2.4 min while the<br>&gt; &gt; other 3.3 min.<br>&gt; &gt;<br>&gt; &gt; Here&#39;s the log_summary:<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; ---------------------------------------------- PETSc Performance Summary:
<br>&gt; &gt; ----------------------------------------------<br>&gt; &gt;<br>&gt; &gt; ./ex2f on a linux-mpi named <a href="http://atlas12.nus.edu.sg">atlas12.nus.edu.sg</a> with 4 processors, by<br>&gt; &gt; g0306332 Sat Feb 10 16:21:36 2007
<br>&gt; &gt; Using Petsc Release Version 2.3.2, Patch 8, Tue Jan&nbsp;&nbsp;2 14:33:59 PST 2007<br>&gt; &gt; HG revision: ebeddcedcc065e32fc252af32cf1d01ed4fc7a80<br>&gt; &gt;<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Max&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Max/Min&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Avg&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Total
<br>&gt; &gt; Time (sec):&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2.213e+02&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.00051&nbsp;&nbsp; 2.212e+02<br>&gt; &gt; Objects:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;5.500e+01&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.00000&nbsp;&nbsp; 5.500e+01<br>&gt; &gt; Flops:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4.718e+09&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.00019&nbsp;&nbsp; 4.718e+09&nbsp;&nbsp;1.887e+10
<br>&gt; &gt; Flops/sec:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.134e+07&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.00070&nbsp;&nbsp; 2.133e+07&nbsp;&nbsp;8.531e+07<br>&gt; &gt;<br>&gt; &gt; Memory:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3.186e+07&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.00069&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.274e+08<br>&gt; &gt; MPI Messages:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.832e+03
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.00000&nbsp;&nbsp; 1.374e+03&nbsp;&nbsp;5.496e+03<br>&gt; &gt; MPI Message Lengths:&nbsp;&nbsp;7.324e+06&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2.00000&nbsp;&nbsp; 3.998e+03&nbsp;&nbsp;2.197e+07<br>&gt; &gt; MPI Reductions:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7.112e+02&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.00000<br>&gt; &gt;<br>&gt; &gt; Flop counting convention: 1 flop = 1 real number operation of type
<br>&gt; &gt; (multiply/divide/add/subtract)<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; e.g., VecAXPY() for real vectors of length N<br>&gt; &gt; --&gt; 2N flops<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; and VecAXPY() for complex vectors of length N
<br>&gt; &gt; --&gt; 8N flops<br>&gt; &gt;<br>&gt; &gt; Summary of Stages:&nbsp;&nbsp; ----- Time ------&nbsp;&nbsp;----- Flops -----&nbsp;&nbsp;--- Messages<br>&gt; &gt; ---&nbsp;&nbsp;-- Message Lengths --&nbsp;&nbsp;-- Reductions --<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Avg&nbsp;&nbsp;&nbsp;&nbsp; %Total&nbsp;&nbsp;&nbsp;&nbsp; Avg&nbsp;&nbsp;&nbsp;&nbsp; %Total&nbsp;&nbsp; counts
<br>&gt; &gt; %Total&nbsp;&nbsp;&nbsp;&nbsp; Avg&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %Total&nbsp;&nbsp; counts&nbsp;&nbsp; %Total<br>&gt; &gt;&nbsp;&nbsp;0:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Main Stage: 2.2120e+02 100.0%&nbsp;&nbsp;1.8871e+10 100.0%&nbsp;&nbsp;5.496e+03<br>&gt; &gt; 100.0%&nbsp;&nbsp;3.998e+03&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;100.0%&nbsp;&nbsp;2.845e+03 100.0%<br>&gt; &gt;<br>
&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; ------------------------------------------------------------------------------------------------------------------------<br>&gt; &gt; See the &#39;Profiling&#39; chapter of the users&#39; manual for details on
<br>&gt; &gt; interpreting output.<br>&gt; &gt; Phase summary info:<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;Count: number of times phase was executed<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;Time and Flops/sec: Max - maximum over all processors<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Ratio - ratio of maximum to minimum over all
<br>&gt; &gt; processors<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;Mess: number of messages sent<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;Avg. len: average message length<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;Reduct: number of global reductions<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;Global: entire computation<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;Stage: stages of a computation. Set stages with PetscLogStagePush() and
<br>&gt; &gt; PetscLogStagePop().<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %T - percent time in this phase&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %F - percent flops in this<br>&gt; &gt; phase<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %M - percent messages in this phase&nbsp;&nbsp;&nbsp;&nbsp; %L - percent message lengths
<br>&gt; &gt; in this phase<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %R - percent reductions in this phase<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;Total Mflop/s: 10e-6 * (sum of flops over all processors)/(max time<br>&gt; &gt; over all processors)<br>&gt; &gt;<br>&gt; &gt;
<br>&gt; &gt; ------------------------------------------------------------------------------------------------------------------------<br>&gt; &gt;<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ##########################################################
<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;WARNING!!!&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#
<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; This code was compiled with a debugging option,&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; To get timing results run config/configure.py&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; using --with-debugging=no, the performance will&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#
<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; be generally two or three times faster.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ##########################################################
<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ##########################################################<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;WARNING!!!&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#
<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; This code was run without the PreLoadBegin()&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; macros. To get timing results we always recommend&nbsp;&nbsp;&nbsp;&nbsp;#
<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; preloading. otherwise timing numbers may be&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; meaningless.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ##########################################################
<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; Event&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Count&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Time (sec)<br>&gt; &gt; Flops/sec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --- Global ---&nbsp;&nbsp;--- Stage ---&nbsp;&nbsp; Total<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Max Ratio&nbsp;&nbsp;Max&nbsp;&nbsp;&nbsp;&nbsp; Ratio&nbsp;&nbsp; Max&nbsp;&nbsp;Ratio&nbsp;&nbsp;Mess&nbsp;&nbsp; Avg len
<br>&gt; &gt; Reduct&nbsp;&nbsp;%T %F %M %L %R&nbsp;&nbsp;%T %F %M %L %R Mflop/s<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; ------------------------------------------------------------------------------------------------------------------------<br>
&gt; &gt;<br>&gt; &gt; --- Event Stage 0: Main Stage<br>&gt; &gt;<br>&gt; &gt; MatMult&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;915 1.0 4.4291e+01 1.3 1.50e+07 1.3 5.5e+03 4.0e+03<br>&gt; &gt; 0.0e+00 18 11100100&nbsp;&nbsp;0&nbsp;&nbsp;18 11100100&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;46<br>&gt; &gt; MatSolve&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 915 
1.0 1.5684e+01 1.1 3.56e+07 1.1 0.0e+00 0.0e+00<br>&gt; &gt; 0.0e+00&nbsp;&nbsp;7 11&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 7 11&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 131<br>&gt; &gt; MatLUFactorNum&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 1.0 5.1654e-02 1.4 1.48e+07 1.4 0.0e+00 0.0e+00<br>&gt; &gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;43
<br>&gt; &gt; MatILUFactorSym&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 1.0 1.6838e-02 1.1 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; &gt; 2.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; MatAssemblyBegin&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 1.0 3.2428e-01 1.6 0.00e+00 0.0 0.0e+00
 0.0e+00<br>&gt; &gt; 2.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; MatAssemblyEnd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 1.0 1.3120e+00 1.1 0.00e+00 0.0 6.0e+00 2.0e+03<br>&gt; &gt; 1.3e+01&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 1&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; MatGetOrdering&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 
1.0 4.1590e-03 1.2 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; &gt; 2.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; VecMDot&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;885 1.0 8.5091e+01 1.1 2.27e+07 1.1 0.0e+00 0.0e+00<br>&gt; &gt; 8.8e+02 36 36&nbsp;&nbsp;0&nbsp;&nbsp;0 31&nbsp;&nbsp;36 36&nbsp;&nbsp;0&nbsp;&nbsp;0 31&nbsp;&nbsp;&nbsp;&nbsp;80
<br>&gt; &gt; VecNorm&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;916 1.0 6.6747e+01 1.1 1.81e+06 1.1 0.0e+00 0.0e+00<br>&gt; &gt; 9.2e+02 29&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp;29&nbsp;&nbsp;2&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp;&nbsp;&nbsp; 7<br>&gt; &gt; VecScale&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 915 1.0 1.1430e+00 2.2 1.12e+08 2.2 0.0e+00
 0.0e+00<br>&gt; &gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 200<br>&gt; &gt; VecCopy&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30 1.0 1.2816e-01 5.7 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; &gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; VecSet&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 947 
1.0 7.8979e-01 1.3 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; &gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; VecAXPY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 60 1.0 5.5332e-02 1.1 1.51e+08 1.1 0.0e+00 0.0e+00<br>&gt; &gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 542
<br>&gt; &gt; VecMAXPY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 915 1.0 1.5004e+01 1.3 1.54e+08 1.3 0.0e+00 0.0e+00<br>&gt; &gt; 0.0e+00&nbsp;&nbsp;6 38&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 6 38&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 483<br>&gt; &gt; VecScatterBegin&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;915 1.0 9.0358e-02 1.4 0.00e+00 0.0 5.5e+03
 4.0e+03<br>&gt; &gt; 0.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0100100&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0100100&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; VecScatterEnd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;915 1.0 3.5136e+01 1.4 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; &gt; 0.0e+00 14&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;14&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; VecNormalize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 915 
1.0 6.7272e+01 1.0 2.68e+06 1.0 0.0e+00 0.0e+00<br>&gt; &gt; 9.2e+02 30&nbsp;&nbsp;4&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp;30&nbsp;&nbsp;4&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp;&nbsp;&nbsp;10<br>&gt; &gt; KSPGMRESOrthog&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 885 1.0 9.8478e+01 1.1 3.87e+07 1.1 0.0e+00 0.0e+00<br>&gt; &gt; 8.8e+02 42 72&nbsp;&nbsp;0&nbsp;&nbsp;0 31&nbsp;&nbsp;42 72&nbsp;&nbsp;0&nbsp;&nbsp;0 31&nbsp;&nbsp; 138
<br>&gt; &gt; KSPSetup&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2 1.0 6.1918e-01 1.2 0.00e+00 0.0 0.0e+00 0.0e+00<br>&gt; &gt; 1.0e+01&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; KSPSolve&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 1.0 2.1892e+02 1.0 2.15e+07 1.0 5.5e+03
 4.0e+03<br>&gt; &gt; 2.8e+03 99100100100 99&nbsp;&nbsp;99100100100 99&nbsp;&nbsp;&nbsp;&nbsp;86<br>&gt; &gt; PCSetUp&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2 1.0 7.3292e-02 1.3 9.84e+06 1.3 0.0e+00 0.0e+00<br>&gt; &gt; 6.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;30<br>&gt; &gt; PCSetUpOnBlocks&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1 
1.0 7.2706e-02 1.3 9.97e+06 1.3 0.0e+00 0.0e+00<br>&gt; &gt; 4.0e+00&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp; 0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp;31<br>&gt; &gt; PCApply&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;915 1.0 1.6508e+01 1.1 3.27e+07 1.1 0.0e+00 0.0e+00<br>&gt; &gt; 9.2e+02&nbsp;&nbsp;7 11&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp; 7 11&nbsp;&nbsp;0&nbsp;&nbsp;0 32&nbsp;&nbsp; 124
<br>&gt; &gt;<br>&gt; &gt; ------------------------------------------------------------------------------------------------------------------------<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; Memory usage is given in bytes:<br>
&gt; &gt;<br>&gt; &gt; Object Type&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Creations&nbsp;&nbsp; Destructions&nbsp;&nbsp; Memory&nbsp;&nbsp;Descendants&#39; Mem.<br>&gt; &gt;<br>&gt; &gt; --- Event Stage 0: Main Stage<br>&gt; &gt;<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Matrix&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4&nbsp;&nbsp;&nbsp;&nbsp; 252008&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Index Set&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;5&nbsp;&nbsp;&nbsp;&nbsp; 753096&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Vec&nbsp;&nbsp;&nbsp;&nbsp;41&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41&nbsp;&nbsp; 18519984&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Vec Scatter&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Krylov Solver&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;16880&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Preconditioner&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;196&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&gt; &gt; ========================================================================================================================<br>&gt; &gt;<br>
&gt; &gt; Average time to get PetscTime(): 1.09673e-06<br>&gt; &gt; Average time for MPI_Barrier(): 4.18186e-05<br>&gt; &gt; Average time for zero size MPI_Send(): 2.62856e-05<br>&gt; &gt; OptionTable: -log_summary<br>&gt; &gt; Compiled without FORTRAN kernels
<br>&gt; &gt; Compiled with full precision matrices (default)<br>&gt; &gt; sizeof(short) 2 sizeof(int) 4 sizeof(long) 4 sizeof(void*) 4<br>&gt; &gt; sizeof(PetscScalar) 8<br>&gt; &gt; Configure run at: Thu Jan 18 12:23:31 2007
<br>&gt; &gt; Configure options: --with-vendor-compilers=intel --with-x=0 --with-shared<br>&gt; &gt; --with-blas-lapack-dir=/lsftmp/g0306332/inter/mkl/lib/32<br>&gt; &gt; --with-mpi-dir=/opt/mpich/myrinet/intel/<br>&gt; &gt; -----------------------------------------
<br>&gt; &gt; Libraries compiled on Thu Jan 18 12:24:41 SGT 2007 on <a href="http://atlas1.nus.edu.sg">atlas1.nus.edu.sg</a><br>&gt; &gt; Machine characteristics: Linux <a href="http://atlas1.nus.edu.sg">atlas1.nus.edu.sg
</a> 2.4.21-20.ELsmp #1 SMP<br>&gt; &gt; Wed Sep 8 17:29:34 GMT 2004 i686 i686 i386 GNU/Linux<br>&gt; &gt; Using PETSc directory: /nas/lsftmp/g0306332/petsc-2.3.2-p8<br>&gt; &gt; Using PETSc arch: linux-mpif90<br>&gt; &gt; -----------------------------------------
<br>&gt; &gt; Using C compiler: /opt/mpich/myrinet/intel/bin/mpicc -fPIC -g<br>&gt; &gt; Using Fortran compiler: /opt/mpich/myrinet/intel/bin/mpif90 -I. -fPIC -g<br>&gt; &gt; -w90 -w<br>&gt; &gt; -----------------------------------------
<br>&gt; &gt; Using include paths: -I/nas/lsftmp/g0306332/petsc-<br>&gt; &gt; 2.3.2-p8-I/nas/lsftmp/g0306332/petsc-<br>&gt; &gt; 2.3.2-p8/bmake/linux-mpif90 -I/nas/lsftmp/g0306332/petsc-2.3.2-p8/include<br>&gt; &gt; -I/opt/mpich/myrinet/intel/include
<br>&gt; &gt; ------------------------------------------<br>&gt; &gt; Using C linker: /opt/mpich/myrinet/intel/bin/mpicc -fPIC -g<br>&gt; &gt; Using Fortran linker: /opt/mpich/myrinet/intel/bin/mpif90 -I. -fPIC -g<br>&gt; &gt; -w90 -w
<br>&gt; &gt; Using libraries:<br>&gt; &gt; -Wl,-rpath,/nas/lsftmp/g0306332/petsc-2.3.2-p8/lib/linux-mpif90<br>&gt; &gt; -L/nas/lsftmp/g0306332/petsc-2.3.2-p8/lib/linux-mpif90 -lpetscts<br>&gt; &gt; -lpetscsnes -lpetscksp -lpetscdm -lpetscmat -lpetscvec -lpetsc
<br>&gt; &gt; -Wl,-rpath,/lsftmp/g0306332/inter/mkl/lib/32<br>&gt; &gt; -L/lsftmp/g0306332/inter/mkl/lib/32 -lmkl_lapack -lmkl_ia32 -lguide<br>&gt; &gt; -lPEPCF90 -Wl,-rpath,/opt/intel/compiler70/ia32/lib<br>&gt; &gt; -Wl,-rpath,/opt/mpich/myrinet/intel/lib -L/opt/mpich/myrinet/intel/lib
<br>&gt; &gt; -Wl,-rpath,-rpath -Wl,-rpath,-ldl -L-ldl -lmpich -Wl,-rpath,-L -lgm<br>&gt; &gt; -lpthread -Wl,-rpath,/opt/intel/compiler70/ia32/lib<br>&gt; &gt; -Wl,-rpath,/opt/intel/compiler70/ia32/lib -L/opt/intel/compiler70/ia32/lib
<br>&gt; &gt; -Wl,-rpath,/usr/lib -Wl,-rpath,/usr/lib -L/usr/lib -limf -lirc -lcprts -lcxa<br>&gt; &gt; -lunwind -ldl -lmpichf90 -Wl,-rpath,/opt/gm/lib -L/opt/gm/lib -lPEPCF90<br>&gt; &gt; -Wl,-rpath,/opt/intel/compiler70/ia32/lib -L/opt/intel/compiler70/ia32/lib
<br>&gt; &gt; -Wl,-rpath,/usr/lib -L/usr/lib -lintrins -lIEPCF90 -lF90 -lm&nbsp;&nbsp;-Wl,-rpath,\<br>&gt; &gt; -Wl,-rpath,\ -L\ -ldl -lmpich -Wl,-rpath,\ -L\ -lgm -lpthread<br>&gt; &gt; -Wl,-rpath,/opt/intel/compiler70/ia32/lib -L/opt/intel/compiler70/ia32/lib
<br>&gt; &gt; -Wl,-rpath,/usr/lib -L/usr/lib -limf -lirc -lcprts -lcxa -lunwind -ldl<br>&gt; &gt; ------------------------------------------<br>&gt; &gt;<br>&gt; &gt;&nbsp;&nbsp;So is there something wrong with the server&#39;s mpi implementation?
<br>&gt; &gt;<br>&gt; &gt; Thank you.<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; On 2/10/07, Satish Balay &lt;<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>&gt; wrote:<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; Looks like MatMult = 24sec Out of this the scatter time is: 22sec.
<br>&gt; &gt; &gt; Either something is wrong with your run - or MPI is really broken..<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; Satish<br>&gt; &gt; &gt;<br>&gt; &gt; &gt; &gt; &gt; &gt; MatMult&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3927 1.0 2.4071e+01 
1.3 6.14e+06 1.4 2.4e+04<br>&gt; &gt; &gt; 1.3e+03<br>&gt; &gt; &gt; &gt; &gt; &gt; VecScatterBegin&nbsp;&nbsp;&nbsp;&nbsp; 3927 1.0 2.8672e-01 3.9 0.00e+00 0.0 2.4e+04<br>&gt; &gt; &gt; 1.3e+03<br>&gt; &gt; &gt; &gt; &gt; &gt; VecScatterEnd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3927 
1.0 2.2135e+01 1.5 0.00e+00 0.0 0.0e+00<br>&gt; &gt; &gt; 0.0e+00<br>&gt; &gt; &gt;<br>&gt; &gt; &gt;<br>&gt; &gt;<br>&gt;<br><br></blockquote></div><br>