<div dir="ltr"><div>It seems that for each time I had to clean compiled files before changing the processor count and run it again! It works now!<br><br></div>Thanks,<br>Ami<br><div><div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 10, 2014 at 4:29 PM, Amirreza Hashemi <span dir="ltr"><<a href="mailto:amirezahashemi@gmail.com" target="_blank">amirezahashemi@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div>Dr. Fishcer,<br><br></div>Thanks for your answer, for sure, I change the lelt and lelg and keep them as lowest even number that I can pick when I increase the number of CPUs. I picked also lp=32768, but I still get this "allocation failed" error. Is there any thing else that effect on the allocation which I have to change it?!<br><br></div>Thanks,<br></div>Ami<br><div><div><div><div><div><div><div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Mon, Nov 10, 2014 at 8:55 AM,  <span dir="ltr"><<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.gov</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">




<div>
<div style="direction:ltr;font-family:Tahoma;color:#000000;font-size:10pt">
<div><br>
</div>
Hi Ami,
<div><br>
</div>
<div>When you increase the processor count, you can recompile with a smaller lelt.</div>
<div><br>
</div>
<div>Suppose you have lelt=1000 and you go from P=64 to P=128.  Then set lelt=500 and</div>
<div>recompile.</div>
<div><br>
</div>
<div>Make certain lelg >= 500*P and lp >= 128.</div>
<div><br>
</div>
<div>I would suggest lelg="big enough" (and an even number) and lp=32768.</div>
<div><br>
</div>
<div>Paul</div>
<div><br>
<div style="font-family:Times New Roman;color:#000000;font-size:16px">
<hr>
<div style="direction:ltr"><font color="#000000" face="Tahoma"><b>From:</b> <a href="mailto:nek5000-users-bounces@lists.mcs.anl.gov" target="_blank">nek5000-users-bounces@lists.mcs.anl.gov</a> [<a href="mailto:nek5000-users-bounces@lists.mcs.anl.gov" target="_blank">nek5000-users-bounces@lists.mcs.anl.gov</a>] on behalf of <a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.gov</a> [<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.gov</a>]<br>
<b>Sent:</b> Monday, November 10, 2014 5:05 AM<br>
<b>To:</b> <a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.gov</a><br>
<b>Subject:</b> [Nek5000-users] problem with running nek5000 on supercomputers<br>
</font><br>
</div><div><div>
<div></div>
<div>
<div dir="ltr">
<div>
<div>
<div>Hi Neks,<br>
<br>
</div>
I am trying to run my simulation with nek5000 on supercomputers, the size of the problem is something like:
<pre> text           data     bss     dec     hex filename
2233955  187412 2554984280      2557405647      986ee9cf        nek5000</pre>
</div>
I don't have any problem when I use 32~64 CPUs to run parallel on supercomputers, but once I go for more than 64 CPUs, I always get "allocation failed" error. I have tried to run on different supercomputer like as Gordon SDSC, OSC, TACC, but I got the same
 type of error each time. I have checked the active memories, it seems for each of them memories have large unused portion. Does any one have any idea why when I increase the number of CPUs I get this allocation error?!<br>
</div>
<div><br>
</div>
Thank you,<br>
Ami<br>
</div>
</div>
</div></div></div>
</div>
</div>
</div>

<br></div></div>_______________________________________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" target="_blank">Nek5000-users@lists.mcs.anl.gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br>
<br></blockquote></div><br></div></div></div></div></div></div></div></div></div>
</blockquote></div><br></div></div></div></div></div></div>