<div dir="ltr"><div>Hi Saleh,<br><br></div><div>CPU's would refer to the number of processors in each core, that sits on a node..You may have multiple cores on a node. So, theoretically, you can have CPU's = 12X2, set in your PBS script, but that will not speed up your code, since it will turn on the 2 hyperthreads/ processor in the core. <br><br></div><div>I see in the 2nd PBS script, you have total 16 processors, and 4 processors per node. Even though it is a very inefficient way of running your script, I would say it would still work. like 4 nodes and 4 nodes/ processor. However, I don’t have the expertise to comment further without knowing the architecture of your nodes. <br><br></div><div>However, I can say, it is a good practise to keep ppn = <max_no_processors_in_a_node>  (12 in your case always) and change nodes = x, where x = 1,2,3,4 or whatever. That is a lot more efficient, and scaling analysis is also very elegant that way. <br></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature"><div dir="ltr"><div>Best Regards,<br></div>Tanmoy<br></div></div></div>
<br><div class="gmail_quote">On Thu, Feb 12, 2015 at 4:43 PM,  <span dir="ltr"><<a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Tanmoy<br>
<br>
I still get errors using the shell script. Here is what happens:<br>
On our cluster, we have 12 processors for each node; if I set the number of processors up to 12 there are results generated and the total simulation time decreases. Everything works fine and below is the script:<br>
<br>
#!/bin/bash<br>
#PBS -l nodes=2:ppn=12<br>
#PBS -l mem=16gb<br>
#PBS -l walltime=1:00:00<br>
cd /data/User/Nek5000/nek5_svn/<u></u>examples/eddy<br>
echo eddy_uv > <a href="http://SESSION.NAME" target="_blank">SESSION.NAME</a><br>
echo `pwd`'/' >> <a href="http://SESSION.NAME" target="_blank">SESSION.NAME</a><br>
rm -f eddy_uv.his1<br>
rm -f eddy_uv.sch1<br>
rm -f eddy_uv.log1<br>
mv eddy_uv.log eddy_uv.log1<br>
mv eddy_uv.his eddy_uv.his1<br>
mv eddy_uv.sch eddy_uv.sch1<span class=""><br>
rm -f logfile<br>
rm -f ioinfo<br></span>
sleep 5<br>
mpiexec -n 12 -machinefile $PBS_NODEFILE nek5000 > eddy_uv.log<br>
sleep 5<br>
ln eddy_uv.log logfile<br>
exit 0;<br>
<br>
However, when I set the number of CPUs to 16 there is no outcome. Here is the script:<br>
<br>
#!/bin/bash<br>
#PBS -l nodes=4:ppn=4<br>
#PBS -l mem=16gb<br>
#PBS -l walltime=1:00:00<br>
cd /data/User/Nek5000/nek5_svn/<u></u>examples/eddy<br>
echo eddy_uv > <a href="http://SESSION.NAME" target="_blank">SESSION.NAME</a><br>
echo `pwd`'/' >> <a href="http://SESSION.NAME" target="_blank">SESSION.NAME</a><br>
rm -f eddy_uv.his1<br>
rm -f eddy_uv.sch1<br>
rm -f eddy_uv.log1<br>
mv eddy_uv.log eddy_uv.log1<br>
mv eddy_uv.his eddy_uv.his1<br>
mv eddy_uv.sch eddy_uv.sch1<span class=""><br>
rm -f logfile<br>
rm -f ioinfo<br></span>
sleep 5<br>
mpiexec -n 16 -machinefile $PBS_NODEFILE nek5000 > eddy_uv.log<br>
sleep 5<br>
ln eddy_uv.log logfile<br>
exit 0;<br>
<br>
<br>
I'm not sure what I'm missing here? (in short I'm not able to increase the number of CPUs more than 12, which is the maximum number of processors per node.)<span class="im HOEnZb"><br>
<br>
<br>
<br>
On 1/14/2015 11:06 PM, <a href="mailto:nek5000-users@lists.mcs.anl.gov" target="_blank">nek5000-users@lists.mcs.anl.<u></u>gov</a> wrote:<br>
</span><span class="im HOEnZb"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
#PBS -j oe<br>
#PBS -o sparkyLog<br>
</blockquote>
<br>
<br></span><div class="HOEnZb"><div class="h5">
______________________________<u></u>_________________<br>
Nek5000-users mailing list<br>
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" target="_blank">Nek5000-users@lists.mcs.anl.<u></u>gov</a><br>
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" target="_blank">https://lists.mcs.anl.gov/<u></u>mailman/listinfo/nek5000-users</a><br>
</div></div></blockquote></div><br></div>