<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Fri, Sep 1, 2017 at 7:40 AM, Jakub Kruzik <span dir="ltr"><<a href="mailto:jakub.kruzik@vsb.cz" target="_blank">jakub.kruzik@vsb.cz</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
I am looking at a single node performance of MUMPS and SuperLU on KNL 7230 (on Theta). I am using KSP example ex2 (<a href="http://www.mcs.anl.gov/petsc/petsc-current/src/ksp/ksp/examples/tutorials/ex2.c.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/<wbr>petsc-current/src/ksp/ksp/exam<wbr>ples/tutorials/ex2.c.html</a>) with m X n = 2880 x 2880. KNL runs in cache and quad modes.<br>
<br>
Times in seconds for 24 cores:<br>
mumps:   279<br>
superlu:   326<br>
cg:             116<br>
<br>
Times in seconds for 64 cores:<br>
mumps:   316<br>
superlu:   410<br>
cg :            49<br>
<br>
The performance for 24 cores is OK - both direct solvers are roughly 3.5 times slower than 2x E5-2680v3. (According to people from Intel, the single core performance of KNL is about 3-4 times lower than that of E5-2680v3). However, strong scalability is really bad.<br>
<br>
I am using cray-petsc/<a href="http://3.7.6.0" rel="noreferrer" target="_blank">3.7.6.0</a> module. I tried my own PETSc compilation with MKL and MUMPS/SuperLU installed by PETSc configure but the results are similar.<br>
<br>
Please find attached Theta submission script and logs for KNL and Haswells.<br>
<br>
Why the performance of direct solvers on a full node is so bad?<br></blockquote><div><br></div><div>Admittedly it was for different computations, but we saw strong scaling degradation after 32 cores of KNL</div><div>in <a href="https://arxiv.org/abs/1705.09907">https://arxiv.org/abs/1705.09907</a>, and we also saw strong scaling tail off as the problem size got this small</div><div>in <a href="https://arxiv.org/abs/1705.03625">https://arxiv.org/abs/1705.03625</a></div><div><br></div><div>   Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Best,<br>
Jakub<br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.caam.rice.edu/~mk51/" target="_blank">http://www.caam.rice.edu/~mk51/</a><br></div></div></div>
</div></div>