<div dir="ltr"><div class="gmail_default" style="font-size:small">Hi,</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">I use SuperLU_dist, outside of PETSc, and use the parallel symbolic factorization functionality. In my experience it is significantly faster than the serial symbolic factorization. I don't have clean numbers on hand, but my recollection is that going from serial to parallel reduced time spent in the symbolic factorization by around an order of magnitude. Using ParMETIS also significantly reduced the memory footprint of the symbolic factorization.</div><div class="gmail_default" style="font-size:small"><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline"><br></span></div><div class="gmail_default" style="font-size:small"><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">I suspect that the impact of ParMETIS on performance depends on the application. In my application, I was using a matrix with ~4.2e6 unknowns, an average of 20 non-zeros per row, and running on 256 cores.</span></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Keith</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 22, 2018 at 12:22 PM, Fande Kong <span dir="ltr"><<a href="mailto:fdkong.jd@gmail.com" target="_blank">fdkong.jd@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Eric,<div><br></div><div>I am curious if the parallel symbolic factoriation is faster than the sequential version? Do you have timing?</div><span class="HOEnZb"><font color="#888888"><div><br></div><div><br></div><div>Fande,</div></font></span></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, May 22, 2018 at 12:18 PM, Eric Chamberland <span dir="ltr"><<a href="mailto:Eric.Chamberland@giref.ulaval.ca" target="_blank">Eric.Chamberland@giref.<wbr>ulaval.ca</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span><br>
<br>
On 22/05/18 02:03 PM, Smith, Barry F. wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
    Hmm, why would<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
the resolution with *sequential* symbolic factorisation gives ans err around 1e-6 instead of 1e-16 for parallel one (when it works).<br>
</blockquote>
<br>
   ? One would think that doing a "sequential" symbolic factorization won't affect the answer to this huge amount? Perhaps this is the problem that needs to be addressed.<br>
<br>
</blockquote>
<br></span>
I do agree that this is a huge amount of difference... and if we agree this is also a bug, than it means there are not one but two bugs that deserve to be fixed...<br>
<br>
Thanks,<br>
<br>
Eric<br>
<br>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>