<div dir="ltr"><div><div>Hi Aleks,<br><br></div>Approximately I can do that!<br><br></div>Ami<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 4, 2015 at 2:30 PM,  <span dir="ltr"><<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Ami,<br>
<br>
Could you try your 12 core-per-node case running with only 11 cores per node (and increasing the total number of nodes to keep the number of CPU fixed)?<br>
<br>
Aleks<div class="HOEnZb"><div class="h5"><br>
<br>
On Wed, 4 Feb 2015, <a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.<u></u>gov</a> wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Mike,<br>
<br>
Thanks for your answer!, Total grid points is 32499936, which I believe it<br>
is greater than 20k for both cases!<br>
<br>
Ami<br>
<br>
On Wed, Feb 4, 2015 at 2:17 PM, <<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.<u></u>gov</a>> wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi Ami,<br>
<br>
How many nodes were in your simulation? Nek scales well if your number of<br>
gridpoints per core is large enough, e.g., greater than 20K or so in my<br>
experience.<br>
<br>
It's not clear to me if the power-of-two issue would be the cause here;<br>
perhaps Paul could comment.<br>
<br>
Mike<br>
<br>
On Feb 4, 2015, at 12:09 PM, <<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.<u></u>gov</a>><br>
 wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi,<br>
<br>
I ran nek5000 on 1024 CPUs which is divided to 128 nodes and 8 cores per<br>
</blockquote>
node, and the same problem on 1200 CPUs with 100 nodes and 12 cores per<br>
node, however in second case I got lower efficiency, simulation goes slower<br>
about 5~8 percent!! I ran both cases on the same cluster!! Does anyone have<br>
any idea why I do not get higher efficiency with the higher number of CPUs<br>
but less nodes involved!? Could memory be a limitation here or since<br>
numbers in first case are power of 2, it is more efficient!?<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Thanks,<br>
Ami<br>
______________________________<u></u>_________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" target="_blank">Nek5000-users@lists.mcs.anl.<u></u>gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/<u></u>mailman/listinfo/nek5000-users</a><br>
</blockquote>
<br>
______________________________<u></u>_________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" target="_blank">Nek5000-users@lists.mcs.anl.<u></u>gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/<u></u>mailman/listinfo/nek5000-users</a><br>
<br>
</blockquote>
<br>
</blockquote>
______________________________<u></u>_________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" target="_blank">Nek5000-users@lists.mcs.anl.<u></u>gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/<u></u>mailman/listinfo/nek5000-users</a><br>
</div></div></blockquote></div><br></div>