<div dir="ltr">Hi,<div><br></div><div>I am trying to submit to a cray machine (Edison) with 24 cores per node. I am looking to submit a 25 node 600 tasks job but with my sites configuration, it results in a 25 node 25 tasks submission.</div><div><br></div><div>The sites file bits are:</div><div><br></div><div><div>   <profile namespace="globus" key="jobsPerNode">24</profile></div><div>    <profile namespace="globus" key="providerAttributes">pbs.aprun;pbs.mpp;depth=24</profile></div><div>    <profile namespace="globus" key="maxTime">1000</profile></div><div>    <profile namespace="globus" key="wallTime">00:30:00</profile></div><div>    <profile namespace="globus" key="slots">1</profile></div><div>    <profile namespace="globus" key="nodeGranularity">25</profile></div><div>    <profile namespace="globus" key="maxNodes">25</profile></div></div><div><br></div><div>The resulting job is:</div><div><br></div><div><div>                                                                                  Req'd    Req'd       Elap<br></div><div>Job ID                  Username    Queue    Jobname          SessID  NDS   TSK   Memory   Time    S   Time</div><div>----------------------- ----------- -------- ---------------- ------ ----- ------ ------ --------- - ---------</div><div>2204800.edique02        ketan       debug    B1218-5106290-0     --     25     25    --   00:16:00 C       --</div></div><div><br></div><div>The resulting submit script is:</div><div><br></div><div><div>#PBS -S /bin/bash</div><div>#PBS -N B1218-5106290-0</div><div>#PBS -m n</div><div>#PBS -l mppwidth=25,mppnppn=1,mppdepth=24</div><div>#PBS -l walltime=00:16:00</div><div>#PBS -q debug</div><div>#PBS -o /scratch2/scratchdirs/ketan/WRF_LES/WRFV3/ketanrun/run001/scripts/PBS8090417396448920648.submit.stdout</div><div>#PBS -e /scratch2/scratchdirs/ketan/WRF_LES/WRFV3/ketanrun/run001/scripts/PBS8090417396448920648.submit.stderr</div><div>export WORKER_LOGGING_LEVEL=NONE</div><div>#PBS -v WORKER_LOGGING_LEVEL</div><div>cd / && aprun -n 25 -N 1 -cc none -d 24 -F exclusive /bin/sh -c '/usr/bin/perl /global/homes/k/ketan/.globus/coasters/<a href="http://cscript6966010727500767046.pl">cscript6966010727500767046.pl</a> <a href="http://10.10.20.170:58984">http://10.10.20.170:58984</a>,<a href="http://10.100.100.52:58984">http://10.100.100.52:58984</a>,<a href="http://10.141.1.2:58984">http://10.141.1.2:58984</a>,<a href="http://127.0.0.2:58984">http://127.0.0.2:58984</a>,<a href="http://128.55.34.2:58984">http://128.55.34.2:58984</a>,<a href="http://128.55.72.100:58984">http://128.55.72.100:58984</a>,<a href="http://128.55.72.22:58984">http://128.55.72.22:58984</a> 1218-5106290-000000 NOLOGGING'</div><div>/bin/echo $? >/scratch2/scratchdirs/ketan/WRF_LES/WRFV3/ketanrun/run001/scripts/PBS8090417396448920648.submit.exitcode</div><div><br></div></div><div><br></div><div>I am looking to get mppwidth and -n switch of aprun to 600 </div><div><br></div><div>Thanks for any suggestions.</div><div><br></div><div>Ketan</div></div>