<div dir="ltr"><div class="gmail_default" style="color:rgb(7,55,99)">Dear PETSc-users,</div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)">I'm running the same dummy simulation (which involves solving a 10000 x 10000 linear system of equations 10 times) using 12 and 18 processors on a SMP machine. With 18 processors I spend 3.5s on PETsc calls, with 12 I spend ~260s. </div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)">Again, the matrix is the same, the only difference is the number of processors, which would affect the ordering of the matrix rows and columns as the domain gets partitioned differently.</div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)">When looking at the performance log I see:</div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)">For 12 processors:</div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)"><div class="gmail_default"><font face="monospace, monospace">------------------------------------------------------------------------------------------------------------------------</font></div><div class="gmail_default"><font face="monospace, monospace">Event                Count      Time (sec)     Flops                             --- Global ---  --- Stage ---   Total</font></div><div class="gmail_default"><font face="monospace, monospace">                   Max Ratio  Max     Ratio   Max  Ratio  Mess   Avg len Reduct  %T %F %M %L %R  %T %F %M %L %R Mflop/s</font></div><div class="gmail_default"><font face="monospace, monospace">------------------------------------------------------------------------------------------------------------------------</font></div></div><div class="gmail_default" style><font color="#073763" face="monospace, monospace">MatSolve          103340 1.0 8.6910e+01 1.2 7.54e+10 1.0 0.0e+00 0.0e+00 0.0e+00 31 34  0  0  0  31 34  0  0  0 10113</font><br></div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)">and for 18 processors:</div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style><div class="gmail_default" style="color:rgb(7,55,99)"><font face="monospace, monospace">------------------------------------------------------------------------------------------------------------------------</font></div><div class="gmail_default" style="color:rgb(7,55,99)"><font face="monospace, monospace">Event                Count      Time (sec)     Flops                             --- Global ---  --- Stage ---   Total</font></div><div class="gmail_default" style="color:rgb(7,55,99)"><font face="monospace, monospace">                   Max Ratio  Max     Ratio   Max  Ratio  Mess   Avg len Reduct  %T %F %M %L %R  %T %F %M %L %R Mflop/s</font></div><div class="gmail_default" style="color:rgb(7,55,99)"><font face="monospace, monospace">------------------------------------------------------------------------------------------------------------------------</font></div><div class="gmail_default" style><font face="monospace, monospace" style><font color="#073763">MatSolve             108 1.0 6.9855e-02 1.4 5.25e+07 1.1 0.0e+00 0.0e+00 0.0e+00  2 32  0  0  0   2 32  0  0  0 13136</font><br></font></div><div class="gmail_default" style="color:rgb(7,55,99)"><font face="monospace, monospace"><br></font></div></div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)">The MatSolve count is soo large in the slow case. It is similar for other operations like MatMult and all the vector-oriented operations. I've included the complete logs for these cases.</div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)">What is the main driver behind the number of calls to these functions being so high? Is it only the matrix ordering to blame or maybe there is something else I'm missing?</div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)">Regards and thanks!</div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div class="gmail_default" style="color:rgb(7,55,99)"><br></div><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div>--</div><div><br></div><div>José Abell </div><div>PhD Candidate</div><div>Computational Geomechanics Group</div><div><span style="font-size:12.7272720336914px">Dept. of Civil and Environmental Engineering</span><br></div><div>UC Davis</div><div><br></div></div></div></div></div></div></div>
</div>