
<html><head><style type="text/css"><!-- DIV {margin:0px;} --></style></head><body><div style="font-family:arial, helvetica, sans-serif;font-size:12pt"><div><div>Hi,</div><div>I am trying to benchmark the performance of my code on 8 processors and am trying to find where most of the time is used. When I look at the breakdown of the stages time required, the total add up to ~7s however, the main stage time is ~350s. I am not being able to find out the stage which is taking so much extra time. &nbsp; Could you please suggest something ?</div><div><br></div><div>Thanks. &nbsp;</div><div><br></div><div>Time (sec): &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3.508e+02 &nbsp; &nbsp; &nbsp;1.00000 &nbsp; 3.508e+02</div><div>Objects: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;3.310e+02 &nbsp; &nbsp; &nbsp;1.00000 &nbsp; 3.310e+02</div><div>Flops: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1.279e+08 &nbsp; &nbsp; &nbsp;1.03856 &nbsp; 1.267e+08

 &nbsp;1.014e+09</div><div>Flops/sec: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;3.646e+05 &nbsp; &nbsp; &nbsp;1.03856 &nbsp; 3.612e+05 &nbsp;2.890e+06</div><div>Memory: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2.817e+07 &nbsp; &nbsp; &nbsp;1.06078 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2.221e+08</div><div>MPI Messages: &nbsp; &nbsp; &nbsp; &nbsp; 3.150e+02 &nbsp; &nbsp; &nbsp;1.26506 &nbsp; 2.985e+02 &nbsp;2.388e+03</div><div>MPI Message Lengths: &nbsp;4.011e+06 &nbsp; &nbsp; &nbsp;1.83678 &nbsp; 1.191e+04 &nbsp;2.843e+07</div><div>MPI Reductions: &nbsp; &nbsp; &nbsp; 6.970e+02 &nbsp; &nbsp; &nbsp;1.00000</div><div><br></div><div><br></div><div><br></div><div><div>VecMDot &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 51 1.0 6.0108e-02 2.4 5.65e+06 1.0 0.0e+00 0.0e+00 5.1e+01 &nbsp;0 &nbsp;4 &nbsp;0 &nbsp;0 &nbsp;7 &nbsp; 0 &nbsp;4 &nbsp;0 &nbsp;0 11 &nbsp; 752</div><div>VecNorm &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 67 1.0

 1.1708e-02 1.1 7.41e+05 1.0 0.0e+00 0.0e+00 6.7e+01 &nbsp;0 &nbsp;1 &nbsp;0 &nbsp;0 10 &nbsp; 0 &nbsp;1 &nbsp;0 &nbsp;0 14 &nbsp; 507</div><div>VecScale &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;75 1.0 1.2923e-03 1.0 3.69e+05 1.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;2282</div><div>VecCopy &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 20 1.0 6.3189e-04 1.2 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; &nbsp; 0</div><div>VecSet &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;66 1.0 5.0619e-03 1.3 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; &nbsp; 0</div><div>VecAXPY &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 51 1.0 8.9883e-04 1.1 2.95e+05 1.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0

 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;2625</div><div>VecWAXPY &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;30 1.0 2.0204e-03 1.2 1.09e+05 1.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 430</div><div>VecMAXPY &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;54 1.0 8.1123e-03 1.0 6.28e+06 1.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;5 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;5 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;6192</div><div>VecAssemblyBegin &nbsp; &nbsp; &nbsp; 3 1.0 4.9893e-04 3.0 0.00e+00 0.0 0.0e+00 0.0e+00 9.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;1 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;2 &nbsp; &nbsp; 0</div><div>VecAssemblyEnd &nbsp; &nbsp; &nbsp; &nbsp; 3 1.0 2.0169e-05 1.3 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; &nbsp; 0</div><div>VecPointwiseMult &nbsp; &nbsp; &nbsp; 9 1.0

 1.7315e-04 1.0 1.84e+04 1.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 852</div><div>VecScatterBegin &nbsp; &nbsp; &nbsp;118 1.0 7.5530e-03 1.5 0.00e+00 0.0 2.2e+03 6.0e+03 0.0e+00 &nbsp;0 &nbsp;0 93 47 &nbsp;0 &nbsp; 0 &nbsp;0 93 47 &nbsp;0 &nbsp; &nbsp; 0</div><div>VecScatterEnd &nbsp; &nbsp; &nbsp; &nbsp;118 1.0 3.5505e-02 3.0 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; &nbsp; 0</div><div>VecNormalize &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;54 1.0 7.4800e-03 1.4 9.95e+05 1.0 0.0e+00 0.0e+00 5.4e+01 &nbsp;0 &nbsp;1 &nbsp;0 &nbsp;0 &nbsp;8 &nbsp; 0 &nbsp;1 &nbsp;0 &nbsp;0 11 &nbsp;1065</div><div>MatMult &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 66 1.0 6.4065e-01 1.1 5.67e+07 1.1 9.7e+02 1.1e+04 0.0e+00 &nbsp;0 44 41 38 &nbsp;0 &nbsp; 0 44 41 38 &nbsp;0 &nbsp; 694</div><div>MatSolve &nbsp; &nbsp; &nbsp;

 &nbsp; &nbsp; &nbsp; &nbsp;81 1.0 3.9077e-01 1.0 4.40e+07 1.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 35 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 35 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 901</div><div>MatLUFactorSym &nbsp; &nbsp; &nbsp; &nbsp; 8 1.0 1.0749e-05 1.4 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; &nbsp; 0</div><div>MatLUFactorNum &nbsp; &nbsp; &nbsp; &nbsp; 9 1.0 4.7825e-02 1.0 1.38e+07 1.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 11 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 11 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;2288</div><div>MatILUFactorSym &nbsp; &nbsp; &nbsp; &nbsp;1 1.0 1.5453e-02 1.0 0.00e+00 0.0 0.0e+00 0.0e+00 3.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;1 &nbsp; &nbsp; 0</div></div><div><div>MatConvert &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2 1.0 3.7113e-02 1.0 0.00e+00 0.0 0.0e+00 0.0e+00 1.0e+01 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;1 &nbsp; 0 &nbsp;0

 &nbsp;0 &nbsp;0 &nbsp;2 &nbsp; &nbsp; 0</div><div>MatScale &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;16 1.0 3.7416e-05 1.2 4.90e+03 1.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;1047</div><div>MatAssemblyBegin &nbsp; &nbsp; &nbsp;59 1.0 3.1884e+00484.1 0.00e+00 0.0 4.2e+01 3.6e+05 6.0e+00 &nbsp;0 &nbsp;0 &nbsp;2 53 &nbsp;1 &nbsp; 0 &nbsp;0 &nbsp;2 53 &nbsp;1 &nbsp; &nbsp; 0</div><div>MatAssemblyEnd &nbsp; &nbsp; &nbsp; &nbsp;59 1.0 1.2491e+00 1.0 0.00e+00 0.0 7.6e+01 1.5e+03 2.1e+01 &nbsp;0 &nbsp;0 &nbsp;3 &nbsp;0 &nbsp;3 &nbsp; 0 &nbsp;0 &nbsp;3 &nbsp;0 &nbsp;4 &nbsp; &nbsp; 0</div><div>MatGetValues &nbsp; &nbsp; &nbsp; &nbsp; 792 1.0 1.7098e-03 1.1 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; &nbsp; 0</div><div>MatGetRowIJ &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 1.0 5.9657e-06 2.0 0.00e+00 0.0

 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; &nbsp; 0</div><div>MatGetOrdering &nbsp; &nbsp; &nbsp; &nbsp; 1 1.0 2.0580e-03 1.0 0.00e+00 0.0 0.0e+00 0.0e+00 4.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;1 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;1 &nbsp; &nbsp; 0</div><div>MatZeroEntries &nbsp; &nbsp; &nbsp; &nbsp; 1 1.0 5.6988e-04 1.2 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; &nbsp; 0</div><div>MatTranspose &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;16 1.0 6.8201e-04 1.1 0.00e+00 0.0 0.0e+00 0.0e+00 3.2e+01 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;5 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;7 &nbsp; &nbsp; 0</div><div>MatMatMult &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;32 1.0 1.3172e-03 1.1 0.00e+00 0.0 0.0e+00 0.0e+00 6.4e+01 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;9 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 14 &nbsp; &nbsp;

 0</div><div>MatMatSolve &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;8 1.0 1.3842e-03 1.1 3.60e+02 1.0 0.0e+00 0.0e+00 3.2e+01 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;5 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;7 &nbsp; &nbsp; 2</div><div>KSPGMRESOrthog &nbsp; &nbsp; &nbsp; &nbsp;51 1.0 6.8248e-02 2.1 1.13e+07 1.0 0.0e+00 0.0e+00 5.1e+01 &nbsp;0 &nbsp;9 &nbsp;0 &nbsp;0 &nbsp;7 &nbsp; 0 &nbsp;9 &nbsp;0 &nbsp;0 11 &nbsp;1325</div><div>KSPSetup &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4 1.0 2.2410e-03 1.1 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; 0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp;0 &nbsp; &nbsp; 0</div><div>KSPSolve &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8 1.0 1.0945e+00 1.0 1.21e+08 1.0 8.8e+02 1.1e+04 1.9e+02 &nbsp;0 95 37 34 27 &nbsp; 0 95 37 34 40 &nbsp; 877</div><div>PCSetUp &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;3 1.0 6.8884e-02 1.0 1.38e+07 1.0 0.0e+00 0.0e+00 1.1e+01 &nbsp;0 11

 &nbsp;0 &nbsp;0 &nbsp;2 &nbsp; 0 11 &nbsp;0 &nbsp;0 &nbsp;2 &nbsp;1588</div><div>PCSetUpOnBlocks &nbsp; &nbsp; &nbsp; &nbsp;3 1.0 6.7468e-02 1.0 1.38e+07 1.0 0.0e+00 0.0e+00 7.0e+00 &nbsp;0 11 &nbsp;0 &nbsp;0 &nbsp;1 &nbsp; 0 11 &nbsp;0 &nbsp;0 &nbsp;1 &nbsp;1622</div><div>PCApply &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 57 1.0 4.0561e-01 1.0 4.40e+07 1.0 0.0e+00 0.0e+00 5.7e+01 &nbsp;0 35 &nbsp;0 &nbsp;0 &nbsp;8 &nbsp; 0 35 &nbsp;0 &nbsp;0 12 &nbsp; 868</div><div>------------------------------------------------------------------------------------------------------------------------</div><div><br></div></div></div><div style="position:fixed"></div>


</div></body></html>