1) These MFlop rates are terrible. It seems like your problem is way too small.<br><br>2) The load balance is not good.<br><br>&nbsp;&nbsp; Matt<br><br><div><span class="gmail_quote">On 2/9/07, <b class="gmail_sendername">Ben Tay</b>
 &lt;<a href="mailto:zonexo@gmail.com">zonexo@gmail.com</a>&gt; wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div>Ya, that&#39;s the mistake.&nbsp;I changed part of the code resulting in PetscFinalize not being called.
</div>
<div>&nbsp;</div>
<div>Here&#39;s the output:</div>
<div>&nbsp;</div>
<p>---------------------------------------------- PETSc Performance Summary: ----------------------------------------------</p>
<p>/home/enduser/g0306332/ns2d/a.out on a linux-mpi named <a href="http://atlas00.nus.edu.sg" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">atlas00.nus.edu.sg</a> with 4 processors, by g0306332 Sat Feb 10 08:32:08 2007
<br>Using Petsc Release Version 2.3.2, Patch 8, Tue Jan&nbsp; 2 14:33:59 PST 2007 HG revision: ebeddcedcc065e32fc252af32cf1d01ed4fc7a80
</p>
<p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Max&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Max/Min&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Avg&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Total<br>Time (sec):&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2.826e+02&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2.08192&nbsp;&nbsp; 1.725e+02<br>Objects:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.110e+02&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.00000&nbsp;&nbsp; 1.110e+02<br>Flops:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6.282e+08

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.00736&nbsp;&nbsp; 6.267e+08&nbsp; 2.507e+09<br>Flops/sec:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4.624e+06&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2.08008&nbsp;&nbsp; 4.015e+06&nbsp; 1.606e+07<br>Memory:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.411e+07&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.01142&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5.610e+07<br>MPI Messages:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8.287e+03&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.90156

&nbsp;&nbsp; 6.322e+03&nbsp; 2.529e+04<br>MPI Message Lengths:&nbsp; 6.707e+07&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.11755&nbsp;&nbsp; 1.005e+04&nbsp; 2.542e+08<br>MPI Reductions:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3.112e+03&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.00000</p>
<p>Flop counting convention: 1 flop = 1 real number operation of type (multiply/divide/add/subtract)<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; e.g., VecAXPY() for real vectors of length N --&gt; 2N flops<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; and VecAXPY() for complex vectors of length N --&gt; 8N flops
</p>
<p>Summary of Stages:&nbsp;&nbsp; ----- Time ------&nbsp; ----- Flops -----&nbsp; --- Messages ---&nbsp; -- Message Lengths --&nbsp; -- Reductions --<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Avg&nbsp;&nbsp;&nbsp;&nbsp; %Total&nbsp;&nbsp;&nbsp;&nbsp; Avg&nbsp;&nbsp;&nbsp;&nbsp; %Total&nbsp;&nbsp; counts&nbsp;&nbsp; %Total&nbsp;&nbsp;&nbsp;&nbsp; Avg&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %Total&nbsp;&nbsp; counts&nbsp;&nbsp; %Total
<br>&nbsp;0:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Main Stage: 1.7247e+02 100.0%&nbsp; 2.5069e+09 100.0%&nbsp; 2.529e+04 100.0%&nbsp; 1.005e+04&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 100.0%&nbsp; 1.245e+04 100.0%</p>
<p>------------------------------------------------------------------------------------------------------------------------<br>See the &#39;Profiling&#39; chapter of the users&#39; manual for details on interpreting output.
<br>Phase summary info:<br>&nbsp;&nbsp; Count: number of times phase was executed<br>&nbsp;&nbsp; Time and Flops/sec: Max - maximum over all processors<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ratio - ratio of maximum to minimum over all processors<br>&nbsp;&nbsp; Mess: number of messages sent
<br>&nbsp;&nbsp; Avg. len: average message length<br>&nbsp;&nbsp; Reduct: number of global reductions<br>&nbsp;&nbsp; Global: entire computation<br>&nbsp;&nbsp; Stage: stages of a computation. Set stages with PetscLogStagePush() and PetscLogStagePop().<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %T - percent time in this phase&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %F - percent flops in this phase
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %M - percent messages in this phase&nbsp;&nbsp;&nbsp;&nbsp; %L - percent message lengths in this phase<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; %R - percent reductions in this phase<br>&nbsp;&nbsp; Total Mflop/s: 10e-6 * (sum of flops over all processors)/(max time over all processors)
<br>------------------------------------------------------------------------------------------------------------------------</p>
<p><br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ##########################################################<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; WARNING!!!&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; This code was compiled with a debugging option,&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; To get timing results run config/configure.py&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; using --with-debugging=no, the performance will&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; be generally two or three times faster.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ##########################################################</p>
<p>&nbsp;</p>
<p><br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ##########################################################<br></p>
<p>&nbsp;</p>
<p>&nbsp;&nbsp;&nbsp;&nbsp; ##########################################################<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; WARNING!!!&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; This code was run without the PreLoadBegin()&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; macros. To get timing results we always recommend&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; preloading. otherwise timing numbers may be&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #&nbsp;&nbsp; meaningless.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ##########################################################</p>
<p><br>Event&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Count&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Time (sec)&nbsp;&nbsp;&nbsp;&nbsp; Flops/sec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --- Global ---&nbsp; --- Stage ---&nbsp;&nbsp; Total<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Max Ratio&nbsp; Max&nbsp;&nbsp;&nbsp;&nbsp; Ratio&nbsp;&nbsp; Max&nbsp; Ratio&nbsp; Mess&nbsp;&nbsp; Avg len Reduct&nbsp; %T %F %M %L %R&nbsp; %T %F %M %L %R Mflop/s
<br>------------------------------------------------------------------------------------------------------------------------</p>
<p>--- Event Stage 0: Main Stage</p>
<p>MatMult&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3927 1.0 2.4071e+01 1.3 6.14e+06 1.4 2.4e+04 1.3e+03 0.0e+00 12 18 93 12&nbsp; 0&nbsp; 12 18 93 12&nbsp; 0&nbsp;&nbsp;&nbsp; 19<br>MatSolve&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3967 1.0 2.5914e+00 1.9 7.99e+07 1.9 0.0e+00 0.0e+00 0.0e+00&nbsp; 1 17&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 1 17&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 168
<br>MatLUFactorNum&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40 1.0 4.4779e-01 1.5 3.14e+07 1.5 0.0e+00 0.0e+00 0.0e+00&nbsp; 0&nbsp; 2&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 2&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp; 85<br>MatILUFactorSym&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2 1.0 3.1099e-03 1.0 0.00e+00 0.0 0.0e+00 0.0e+00 4.0e+00&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>MatScale&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20 1.0 1.1487e-01 8.7 8.73e+07 8.9 0.0e+00 0.0e+00 0.0e+00&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp; 39<br>MatAssemblyBegin&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40 1.0 7.8844e+00 1.3 0.00e+00 0.0 7.6e+02 2.8e+05 8.0e+01&nbsp; 4&nbsp; 0&nbsp; 3 83&nbsp; 1&nbsp;&nbsp; 4&nbsp; 0&nbsp; 3 83&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>MatAssemblyEnd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40 1.0 6.9408e+00 1.2 0.00e+00 0.0 1.2e+01 9.6e+02 6.4e+01&nbsp; 4&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 1&nbsp;&nbsp; 4&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp; 0<br>MatGetOrdering&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2 1.0 8.0509e-04 1.0 0.00e+00 0.0 0.0e+00 0.0e+00 6.0e+00&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>MatZeroEntries&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 21 1.0 1.4379e-02 1.1 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>VecMDot&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3792 1.0 4.7372e+01 1.4 5.20e+06 1.4 0.0e+00 0.0e+00 3.8e+03 24 29&nbsp; 0&nbsp; 0 30&nbsp; 24 29&nbsp; 0&nbsp; 0 30&nbsp;&nbsp;&nbsp; 15
<br>VecNorm&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3967 1.0 3.9513e+01 1.2 4.11e+05 1.2 0.0e+00 0.0e+00 4.0e+03 21&nbsp; 2&nbsp; 0&nbsp; 0 32&nbsp; 21&nbsp; 2&nbsp; 0&nbsp; 0 32&nbsp;&nbsp;&nbsp;&nbsp; 1<br>VecScale&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3947 1.0 3.4941e-02 1.2 2.18e+08 1.2 0.0e+00 0.0e+00 0.0e+00&nbsp; 0&nbsp; 1&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 1&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 738
<br>VecCopy&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 155 1.0 1.0029e-0125.1 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>VecSet&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4142 1.0 3.4638e-01 6.6 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>VecAXPY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 290 1.0 5.9618e-03 1.2 2.14e+08 1.2 0.0e+00 0.0e+00 0.0e+00&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 709<br>VecMAXPY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3947 1.0 1.5566e+00 1.3 1.64e+08 1.3 0.0e+00 0.0e+00 0.0e+00&nbsp; 1 31&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 1 31&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 498
<br>VecAssemblyBegin&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 80 1.0 4.1793e+00 1.1 0.00e+00 0.0 9.6e+02 1.4e+04 2.4e+02&nbsp; 2&nbsp; 0&nbsp; 4&nbsp; 5&nbsp; 2&nbsp;&nbsp; 2&nbsp; 0&nbsp; 4&nbsp; 5&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp; 0<br>VecAssemblyEnd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 80 1.0 2.0682e-02 1.2 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>VecScatterBegin&nbsp;&nbsp;&nbsp;&nbsp; 3927 1.0 2.8672e-01 3.9 0.00e+00 0.0 2.4e+04 1.3e+03 0.0e+00&nbsp; 0&nbsp; 0 93 12&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0 93 12&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>VecScatterEnd&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3927 1.0 2.2135e+01 1.5 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 11&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 11&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>VecNormalize&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3947 1.0 3.9593e+01 1.2 6.11e+05 1.2 0.0e+00 0.0e+00 3.9e+03 21&nbsp; 3&nbsp; 0&nbsp; 0 32&nbsp; 21&nbsp; 3&nbsp; 0&nbsp; 0 32&nbsp;&nbsp;&nbsp;&nbsp; 2<br>KSPGMRESOrthog&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3792 1.0 4.8670e+01 1.3 9.92e+06 1.3 0.0e+00 0.0e+00 3.8e+03 25 58&nbsp; 0&nbsp; 0 30&nbsp; 25 58&nbsp; 0&nbsp; 0 30&nbsp;&nbsp;&nbsp; 30
<br>KSPSetup&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 80 1.0 2.0014e-03 1.0 0.00e+00 0.0 0.0e+00 0.0e+00 2.0e+01&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0<br>KSPSolve&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40 1.0 1.0660e+02 1.0 5.90e+06 1.0 2.4e+04 1.3e+03 1.2e+04 62100 93 12 97&nbsp; 62100 93 12 97&nbsp;&nbsp;&nbsp; 23
<br>PCSetUp&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 80 1.0 4.5669e-01 1.5 3.05e+07 1.5 0.0e+00 0.0e+00 1.4e+01&nbsp; 0&nbsp; 2&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 2&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp; 83<br>PCSetUpOnBlocks&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40 1.0 4.5418e-01 1.5 3.07e+07 1.5 0.0e+00 0.0e+00 1.0e+01&nbsp; 0&nbsp; 2&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp; 0&nbsp; 2&nbsp; 0&nbsp; 0&nbsp; 0&nbsp;&nbsp;&nbsp; 84
<br>PCApply&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3967 1.0 4.1737e+00 2.0 5.30e+07 2.0 0.0e+00 0.0e+00 4.0e+03&nbsp; 2 17&nbsp; 0&nbsp; 0 32&nbsp;&nbsp; 2 17&nbsp; 0&nbsp; 0 32&nbsp;&nbsp; 104<br>------------------------------------------------------------------------------------------------------------------------
<br></p>
<div>&nbsp;</div>
<p>Memory usage is given in bytes:</p>
<p>Object Type&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Creations&nbsp;&nbsp; Destructions&nbsp;&nbsp; Memory&nbsp; Descendants&#39; Mem.</p>
<p>--- Event Stage 0: Main Stage</p>
<p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Matrix&nbsp;&nbsp;&nbsp;&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 21136&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Index Set&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 74952&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Vec&nbsp;&nbsp;&nbsp; 81&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 81&nbsp;&nbsp;&nbsp; 1447476&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Vec Scatter&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; 0
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Krylov Solver&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 33760&nbsp;&nbsp;&nbsp;&nbsp; 0<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Preconditioner&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 392&nbsp;&nbsp;&nbsp;&nbsp; 0<br>========================================================================================================================
<br>Average time to get PetscTime(): 1.09673e-06<br>Average time for MPI_Barrier(): 3.90053e-05<br>Average time for zero size MPI_Send(): 1.65105e-05<br>OptionTable: -log_summary<br>Compiled without FORTRAN kernels<br>Compiled with full precision matrices (default)
<br>sizeof(short) 2 sizeof(int) 4 sizeof(long) 4 sizeof(void*) 4 sizeof(PetscScalar) 8<br>Configure run at: Thu Jan 18 12:23:31 2007<br>Configure options: --with-vendor-compilers=intel --with-x=0 --with-shared --with-blas-lapack-dir=/lsftmp/g0306332/inter/mkl/lib/32 --with-mpi-dir=/opt/mpich/myrinet/intel/
<br>-----------------------------------------<br>Libraries compiled on Thu Jan 18 12:24:41 SGT 2007 on <a href="http://atlas1.nus.edu.sg" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">atlas1.nus.edu.sg
</a><br>Machine characteristics: Linux <a href="http://atlas1.nus.edu.sg" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">
atlas1.nus.edu.sg</a> 2.4.21-20.ELsmp #1 SMP Wed Sep 8 17:29:34 GMT 2004 i686 i686 i386 GNU/Linux<br>Using PETSc directory: /nas/lsftmp/g0306332/petsc-2.3.2-p8<br>Using PETSc arch: linux-mpif90<br>-----------------------------------------
<br>Using C compiler: /opt/mpich/myrinet/intel/bin/mpicc -fPIC -g<br>Using Fortran compiler: /opt/mpich/myrinet/intel/bin/mpif90 -I. -fPIC -g -w90 -w<br>-----------------------------------------<br>Using include paths: -I/nas/lsftmp/g0306332/petsc-
2.3.2-p8 -I/nas/lsftmp/g0306332/petsc-2.3.2-p8/bmake/linux-mpif90 -I/nas/lsftmp/g0306332/petsc-2.3.2-p8/include -I/opt/mpich/myrinet/intel/include<br>------------------------------------------<br>Using C linker: /opt/mpich/myrinet/intel/bin/mpicc -fPIC -g
<br>Using Fortran linker: /opt/mpich/myrinet/intel/bin/mpif90 -I. -fPIC -g -w90 -w<br>Using libraries: -Wl,-rpath,/nas/lsftmp/g0306332/petsc-2.3.2-p8/lib/linux-mpif90 -L/nas/lsftmp/g0306332/petsc-2.3.2-p8/lib/linux-mpif90 -lpetscts -lpetscsnes -lpetscksp -lpetscdm -lpetscmat -lpetscvec -lpetsc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -Wl,-rpath,/lsftmp/g0306332/inter/mkl/lib/32 -L/lsftmp/g0306332/inter/mkl/lib/32 -lmkl_lapack -lmkl_ia32 -lguide -lPEPCF90 -Wl,-rpath,/opt/intel/compiler70/ia32/lib -Wl,-rpath,/opt/mpich/myrinet/intel/lib -L/opt/mpich/myrinet/intel/lib -Wl,-rpath,-rpath -Wl,-rpath,-ldl -L-ldl -lmpich -Wl,-rpath,-L -lgm -lpthread -Wl,-rpath,/opt/intel/compiler70/ia32/lib -Wl,-rpath,/opt/intel/compiler70/ia32/lib -L/opt/intel/compiler70/ia32/lib -Wl,-rpath,/usr/lib -Wl,-rpath,/usr/lib -L/usr/lib -limf -lirc -lcprts -lcxa -lunwind -ldl -lmpichf90 -Wl,-rpath,/opt/gm/lib -L/opt/gm/lib -lPEPCF90 -Wl,-rpath,/opt/intel/compiler70/ia32/lib -L/opt/intel/compiler70/ia32/lib -Wl,-rpath,/usr/lib -L/usr/lib -lintrins -lIEPCF90 -lF90 -lm&nbsp; -Wl,-rpath,\ -Wl,-rpath,\ -L\ -ldl -lmpich -Wl,-rpath,\ -L\ -lgm -lpthread -Wl,-rpath,/opt/intel/compiler70/ia32/lib -L/opt/intel/compiler70/ia32/lib -Wl,-rpath,/usr/lib -L/usr/lib -limf -lirc -lcprts -lcxa -lunwind -ldl
<br></p>
<p>&nbsp;</p>
<div>This is the result I get for running 20 steps. There are 2 matrix to be solved. I&#39;ve only parallize the solving of linear equations and kept the rest of the code serial for this test. However, I found that it&#39;s much slower than the sequential version.
</div>
<div>&nbsp;</div>
<div>From the ratio, it seems that MatScale and VecSet &#39;s ratio are very high. I&#39;ve done a scaling of 0.5 for momentum eqn. Is that the reason for the slowness? That is all I can decipher ....</div>
<div>&nbsp;</div>
<div>Thank you.</div><div><span class="e" id="q_110a930aefd60897_1">
<div>&nbsp;</div>
<div>&nbsp;</div>
<div><br><br>&nbsp;</div>
<div><span class="gmail_quote">On 2/10/07, <b class="gmail_sendername">Matthew Knepley</b> &lt;<a href="mailto:knepley@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">knepley@gmail.com</a>
&gt; wrote:</span>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;"><span>On 2/9/07, <b class="gmail_sendername">Ben Tay</b> &lt;<a href="mailto:zonexo@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">

zonexo@gmail.com</a>&gt; wrote:</span> 
<div><span><span class="gmail_quote"></span>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div>ops.... it worked for ex2 and ex2f&nbsp; ;-)</div>
<div>&nbsp;</div>
<div>so what could be wrong? is there some commands or subroutine which i must call? btw, i&#39;m programming in fortran.</div></blockquote></span>
<div><br>Yes, you must call PetscFinalize() in your code.<br><br>&nbsp; Matt <br>&nbsp;</div>
<div><span><br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div><span>
<div>thank you.<br><br>&nbsp;</div>
<div><span class="gmail_quote">On 2/9/07, <b class="gmail_sendername">Matthew Knepley</b> &lt;<a href="mailto:knepley@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">knepley@gmail.com</a>

 &gt; wrote:</span> 
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;">Problems do not go away by ignoring them. Something is wrong here, and it may<br>affect the rest of your program. Please try to run an example: 
<br><br>&nbsp; cd src/ksp/ksp/examples/tutorials<br>&nbsp; make ex2<br>&nbsp; ./ex2 -log_summary 
<div><span><br><br>&nbsp;&nbsp;&nbsp;&nbsp; Matt<br><br>
<div><span class="gmail_quote">On 2/9/07, <b class="gmail_sendername">Ben Tay</b> &lt;<a href="mailto:zonexo@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">zonexo@gmail.com</a>&gt; wrote: 
</span>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div>Well, I don&#39;t know what&#39;s wrong. I did the same thing for -info and it worked. Anyway, is there any other way?</div>
<div>&nbsp;</div>
<div>Like I can use -mat_view or call matview( ... ) to view a matrix. Is there a similar subroutine for me to call?</div>
<div>&nbsp;</div>
<div>Thank you.<br><br>&nbsp;</div>
<div><span>
<div><span class="gmail_quote">On 2/9/07, <b class="gmail_sendername">Matthew Knepley</b> &lt;<a href="mailto:knepley@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">knepley@gmail.com</a>

 &gt; wrote:</span> 
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;">Impossible, please check the spelling, and make sure your<br>command line was not truncated. 
<br>
<br>&nbsp; Matt 
<div><span><br><br>
<div><span class="gmail_quote">On 2/9/07, <b class="gmail_sendername">Ben Tay</b> &lt;<a href="mailto:zonexo@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)"> zonexo@gmail.com</a>&gt; wrote: 
</span>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">ya, i did use -log_summary. but no output..... 
<div><span><br><br>
<div><span class="gmail_quote">On 2/9/07, <b class="gmail_sendername">Barry Smith</b> &lt;<a href="mailto:bsmith@mcs.anl.gov" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">bsmith@mcs.anl.gov</a>&gt; wrote: 
</span>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;"><br>-log_summary<br><br><br>On Fri, 9 Feb 2007, Ben Tay wrote:<br><br>&gt; Hi,<br>&gt;<br>&gt; I&#39;ve tried to use log_summary but nothing came out? Did I miss out 
<br>&gt; something? It worked when I used -info...<br>&gt;<br>&gt;<br>&gt; On 2/9/07, Lisandro Dalcin &lt;<a href="mailto:dalcinl@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">dalcinl@gmail.com 
</a>&gt; wrote:<br>&gt; &gt;<br>&gt; &gt; On 2/8/07, Ben Tay &lt; <a href="mailto:zonexo@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">zonexo@gmail.com</a>&gt; wrote:<br>&gt; &gt; &gt; i&#39;m trying to solve my cfd code using PETSc in parallel. Besides the 
<br>&gt; &gt; linear<br>&gt; &gt; &gt; eqns for PETSc, other parts of the code has also been parallelized using <br>&gt; &gt; &gt; MPI.<br>&gt; &gt;<br>&gt; &gt; Finite elements or finite differences, or what?<br>&gt; &gt; 
<br>&gt; &gt; &gt; however i find that the parallel version of the code running on 4<br>&gt; &gt; processors<br>&gt; &gt; &gt; is even slower than the sequential version.<br>&gt; &gt;<br>&gt; &gt; Can you monitor the convergence and iteration count of momentum and 
<br>&gt; &gt; poisson steps?<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; &gt; in order to find out why, i&#39;ve used the -info option to print out the <br>&gt; &gt; &gt; details. there are 2 linear equations being solved - momentum and 
<br>&gt; &gt; poisson.<br>&gt; &gt; &gt; the momentum one is twice the size of the poisson. it is shown below:<br>&gt; &gt;<br>&gt; &gt; Can you use -log_summary command line option and send the output attached? <br>&gt; &gt; 
<br>&gt; &gt; &gt; i saw some statements stating &quot;seq&quot;. am i running in sequential or<br>&gt; &gt; parallel<br>&gt; &gt; &gt; mode? have i preallocated too much space?<br>&gt; &gt;<br>&gt; &gt; It seems you are running in parallel. The &quot;Seq&quot; are related to local, 
<br>&gt; &gt; internal objects. In PETSc, parallel matrices have inner sequential<br>&gt; &gt; matrices.<br>&gt; &gt;<br>&gt; &gt; &gt; lastly, if Ax=b, A_sta and A_end from&nbsp;&nbsp;MatGetOwnershipRange and b_sta<br>&gt; &gt; and 
<br>&gt; &gt; &gt; b_end from VecGetOwnershipRange should always be the same value, right?<br>&gt; &gt;<br>&gt; &gt; I should. If not, you are likely going to get an runtime error.<br>&gt; &gt;<br>&gt; &gt; Regards,<br>&gt; &gt; 
<br>&gt; &gt; --<br>&gt; &gt; Lisandro Dalcín<br>&gt; &gt; ---------------<br>&gt; &gt; Centro Internacional de Métodos Computacionales en Ingeniería (CIMEC)<br>&gt; &gt; Instituto de Desarrollo Tecnológico para la Industria Química (INTEC) 
<br>&gt; &gt; Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)<br>&gt; &gt; PTLC - Güemes 3450, (3000) Santa Fe, Argentina<br>&gt; &gt; Tel/Fax: +54-(0)342-451.1594<br>&gt; &gt;<br>&gt; &gt;<br>&gt; </blockquote>

</div><br></span></div></blockquote></div><br><br clear="all"><br></span></div>-- <br>One trouble is that despite this system, anyone who reads journals widely<br>and critically is forced to realize that there are scarcely any bars to eventual 
<br>publication. There seems to be no study too fragmented, no hypothesis too<br>trivial, no literature citation too biased or too egotistical, no design too<br>warped, no methodology too bungled, no presentation of results too 
<br>inaccurate, too obscure, and too contradictory, no analysis too self-serving,<br>no argument too circular, no conclusions too trifling or too unjustified, and<br>no grammar and syntax too offensive for a paper to end up in print. -- Drummond Rennie 
</blockquote></div><br></span></div></blockquote></div><br><br clear="all"><br>-- <br>One trouble is that despite this system, anyone who reads journals widely<br>and critically is forced to realize that there are scarcely any bars to eventual 
<br>publication. There seems to be no study too fragmented, no hypothesis too<br>trivial, no literature citation too biased or too egotistical, no design too<br>warped, no methodology too bungled, no presentation of results too 
<br>inaccurate, too obscure, and too contradictory, no analysis too self-serving,<br>no argument too circular, no conclusions too trifling or too unjustified, and<br>no grammar and syntax too offensive for a paper to end up in print. -- Drummond Rennie 
</span></div></blockquote></div><br></span></div></blockquote></span></div></div>
<div><span><br><br clear="all"><br>-- <br>One trouble is that despite this system, anyone who reads journals widely<br>and critically is forced to realize that there are scarcely any bars to eventual 
<br>publication. There seems to be no study too fragmented, no hypothesis too<br>trivial, no literature citation too biased or too egotistical, no design too<br>warped, no methodology too bungled, no presentation of results too 
<br>inaccurate, too obscure, and too contradictory, no analysis too self-serving,<br>no argument too circular, no conclusions too trifling or too unjustified, and<br>no grammar and syntax too offensive for a paper to end up in print. -- Drummond Rennie 
</span></div></blockquote></div><br>
</span></div></blockquote></div><br><br clear="all"><br>-- <br>One trouble is that despite this system, anyone who reads journals widely<br>and critically is forced to realize that there are scarcely any bars to eventual
<br>publication. There seems to be no study too fragmented, no hypothesis too<br>trivial, no literature citation too biased or too egotistical, no design too<br>warped, no methodology too bungled, no presentation of results too
<br>inaccurate, too obscure, and too contradictory, no analysis too self-serving,<br>no argument too circular, no conclusions too trifling or too unjustified, and<br>no grammar and syntax too offensive for a paper to end up in print. -- Drummond Rennie