<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Mon, Feb 27, 2017 at 10:29 AM, Casalegno Francesco <span dir="ltr"><<a href="mailto:francesco.casalegno@epfl.ch" target="_blank">francesco.casalegno@epfl.ch</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr" style="font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255);font-family:calibri,arial,helvetica,sans-serif">
<p>Hello,<br>
</p>
<p><span style="font-size:12pt">I am pretty new to PETSc and I would like to get some advice on choosing the right ratio of unknowns/proc.</span><br></p>
<p><span style="font-size:12pt">I have implemented a finite element solver for 3D problems with potentially up to 5B vertices, using CG as iterative solver. To run weak scaling tests I have to keep constant the ratio unknowns/proc, but if that if this ratio is too small I will not see
 any scaling as the communication overhead would dominate. Similarly, for strong scaling tests I expect to observe nearly-linear scaling only up to a certain number of procs, after which communications will dominate.</span></p>
<p>My question is: what is a reasonable minimum number of unknowns per proc to get good scaling efficiency? I know that for <50k unknowns a direct solver would be preferable, but I do not know if this number is also a reasonable guess for the ratio unknown/proc.</p></div></blockquote><div> We have normally recommended > 10K, but of course this depends on the speed of the processor/memory vs. the network, and the</div><div>arithmetic intensity of your algorithm. Consider using the "performance spectrum" plot. Here is an example:</div><div><br></div><div>  <a href="https://hpgmg.org/2016/06/21/isc16-list/">https://hpgmg.org/2016/06/21/isc16-list/</a></div><div><br></div><div>You run a variety of problem sizes, and you can see where strong scaling starts to tail off on the left edge.</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr" style="font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255);font-family:calibri,arial,helvetica,sans-serif">
<p>Thanks in advance for your help!<span class="gmail-HOEnZb"><font color="#888888"><br>
</font></span></p><span class="gmail-HOEnZb"><font color="#888888">
<p><br>
</p>
<p>Francesco<br>
</p>
</font></span></div>

</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div>
</div></div>