<div dir="ltr"><div><div>Mike,<br><br></div>Thanks for your answer!, Total grid points is 32499936, which I believe it is greater than 20k for both cases!<br><br></div>Ami<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 4, 2015 at 2:17 PM,  <span dir="ltr"><<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Ami,<br>
<br>
How many nodes were in your simulation? Nek scales well if your number of gridpoints per core is large enough, e.g., greater than 20K or so in my experience.<br>
<br>
It's not clear to me if the power-of-two issue would be the cause here; perhaps Paul could comment.<br>
<br>
Mike<br>
<br>
On Feb 4, 2015, at 12:09 PM, <<a href="mailto:nek5000-users@lists.mcs.anl.gov">nek5000-users@lists.mcs.anl.gov</a>><br>
<div><div class="h5"> wrote:<br>
<br>
> Hi,<br>
><br>
> I ran nek5000 on 1024 CPUs which is divided to 128 nodes and 8 cores per node, and the same problem on 1200 CPUs with 100 nodes and 12 cores per node, however in second case I got lower efficiency, simulation goes slower about 5~8 percent!! I ran both cases on the same cluster!! Does anyone have any idea why I do not get higher efficiency with the higher number of CPUs but less nodes involved!? Could memory be a limitation here or since numbers in first case are power of 2, it is more efficient!?<br>
><br>
> Thanks,<br>
> Ami<br>
</div></div>> _______________________________________________<br>
> Nek5000-users mailing list<br>
> <a href="mailto:Nek5000-users@lists.mcs.anl.gov">Nek5000-users@lists.mcs.anl.gov</a><br>
> <a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br>
<br>
_______________________________________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov">Nek5000-users@lists.mcs.anl.gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br>
</blockquote></div><br></div>