<div dir="ltr"><div><div><div>Hi,<br><br></div>I have tried running on 11 cores per node and increased the number of cores and it went faster ~2-3 percent than the one that I used 12 cores per node with the same total cores, however it is still slower than the one that I used 8 cores per nodes and less number of nodes!!<br></div>So it seems with increasing number of nodes, I get the better efficiency, not much matter of how many cores per node I use!! Is this an issue of memory allocation?!!<br><br>Thanks,<br></div>Ami<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 4, 2015 at 2:35 PM,  <span dir="ltr"><<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span class=""><div><div>Hi Aleks,<br><br></div>Approximately I can do that!<br><br></div></span>Ami<br></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 4, 2015 at 2:30 PM,  <span dir="ltr"><<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Ami,<br>
<br>
Could you try your 12 core-per-node case running with only 11 cores per node (and increasing the total number of nodes to keep the number of CPU fixed)?<br>
<br>
Aleks<div><div><br>
<br>
On Wed, 4 Feb 2015, <a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.<u></u>gov</a> wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Mike,<br>
<br>
Thanks for your answer!, Total grid points is 32499936, which I believe it<br>
is greater than 20k for both cases!<br>
<br>
Ami<br>
<br>
On Wed, Feb 4, 2015 at 2:17 PM, <<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.<u></u>gov</a>> wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi Ami,<br>
<br>
How many nodes were in your simulation? Nek scales well if your number of<br>
gridpoints per core is large enough, e.g., greater than 20K or so in my<br>
experience.<br>
<br>
It's not clear to me if the power-of-two issue would be the cause here;<br>
perhaps Paul could comment.<br>
<br>
Mike<br>
<br>
On Feb 4, 2015, at 12:09 PM, <<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.<u></u>gov</a>><br>
 wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi,<br>
<br>
I ran nek5000 on 1024 CPUs which is divided to 128 nodes and 8 cores per<br>
</blockquote>
node, and the same problem on 1200 CPUs with 100 nodes and 12 cores per<br>
node, however in second case I got lower efficiency, simulation goes slower<br>
about 5~8 percent!! I ran both cases on the same cluster!! Does anyone have<br>
any idea why I do not get higher efficiency with the higher number of CPUs<br>
but less nodes involved!? Could memory be a limitation here or since<br>
numbers in first case are power of 2, it is more efficient!?<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Thanks,<br>
Ami<br>
______________________________<u></u>_________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" target="_blank">Nek5000-users@lists.mcs.anl.<u></u>gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/<u></u>mailman/listinfo/nek5000-users</a><br>
</blockquote>
<br>
______________________________<u></u>_________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" target="_blank">Nek5000-users@lists.mcs.anl.<u></u>gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/<u></u>mailman/listinfo/nek5000-users</a><br>
<br>
</blockquote>
<br>
</blockquote>
______________________________<u></u>_________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" target="_blank">Nek5000-users@lists.mcs.anl.<u></u>gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/<u></u>mailman/listinfo/nek5000-users</a><br>
</div></div></blockquote></div><br></div>
</div></div><br>_______________________________________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov">Nek5000-users@lists.mcs.anl.gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br>
<br></blockquote></div><br></div>