<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Apr 20, 2021 at 9:06 PM Sreepathi, Sarat <<a href="mailto:sarat@ornl.gov">sarat@ornl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div>
<div dir="auto" style="direction:ltr;margin:0px;padding:0px;font-family:sans-serif;font-size:11pt;color:black">
Already tried those but it didn't help. I have been trying to experiment with 48x1, 24x2 etc. and performance degraded for the climate workload.<br></div></div></blockquote><div><br></div><div>I have problems even using all 48 cores on both my Kokkos Landau code and KK matrix-vector products (basically) in algebraic multigrid (AMG).</div><div><br></div><div>For AMG using 8 (threads) x 4 (MPI) was best and thread speedup was moderate. I don't know how well KK vectorizes but in principle they should be able to make that work (they can write any code they want in KK).</div><div><br></div><div>For Landau,  I get great thread speedup, This code is MPI serial. I get the same throughput with 32x1, 16x2, 8x4 and 4x8. It looks like I am not getting any vectorization. </div><div>With a large (10 species) test that I use as my test case, it runs very slow when I use all 48 cores in any configuration. With 2 species it does not die, just not great, but I have not looked at this in any detail.</div><div><br></div><div>Let us know if you find anything.</div><div><br></div><div>Thanks,</div><div>Mark</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div><div><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-US"><div><div><blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin:5pt 0in 5pt 4.8pt"><div><blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin:5pt 0in 5pt 4.8pt">
</blockquote>
</div>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>

</blockquote></div></div>