<div dir="ltr"><div>Hi Mihael,</div><div><br></div>Swift is submitting one 16 *node* job with this setup. My intention is to run 10 such 16 node jobs.<div><br></div><div>Thanks,</div><div>Ketan</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Feb 1, 2015 at 8:57 PM, Mihael Hategan <span dir="ltr"><<a href="mailto:hategan@mcs.anl.gov" target="_blank">hategan@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">You are asking for 16 cores through granularity, but explicitly setting<br>
jobType=single. This results PBS only attempting to start one worker for<br>
each job. However, the coaster scheduler thinks that 16 workers were<br>
requested and, since that is more than the number of queued jobs, it<br>
will not start any other ones.<br>
<br>
</span>Mihael<br>
<span class="im HOEnZb"><br>
On Sun, 2015-02-01 at 20:09 -0600, Ketan Maheshwari wrote:<br>
</span><div class="HOEnZb"><div class="h5">> Hi Mihael,<br>
><br>
> The run is not yet finished. Please find attached the log so far.<br>
><br>
> Thanks,<br>
> Ketan<br>
><br>
> On Sun, Feb 1, 2015 at 8:04 PM, Mihael Hategan <<a href="mailto:hategan@mcs.anl.gov">hategan@mcs.anl.gov</a>> wrote:<br>
><br>
> > Hi,<br>
> ><br>
> > Can you post the swift log please?<br>
> ><br>
> > Mihael<br>
> ><br>
> > On Sun, 2015-02-01 at 19:58 -0600, Ketan Maheshwari wrote:<br>
> > > Hi,<br>
> > ><br>
> > > Running a workflow, I need to run 10 PBS tasks each with a size of 16<br>
> > > nodes.<br>
> > ><br>
> > > The workflow starts with 4 single task stages and then fans out to a<br>
> > > foreach loop with 10 tasks.<br>
> > ><br>
> > > Here is the sites file I am using:<br>
> > ><br>
> > > <?xml version="1.0" encoding="UTF-8"?><br>
> > > <config xmlns="<a href="http://www.ci.uchicago.edu/swift/SwiftSites" target="_blank">http://www.ci.uchicago.edu/swift/SwiftSites</a>"><br>
> > > <pool handle="blues"><br>
> > >   <execution provider="coaster" jobmanager="local:pbs"/><br>
> > >   <filesystem provider="local" url="none" /><br>
> > >   <profile namespace="globus" key="maxtime">13400</profile><br>
> > >   <profile namespace="globus" key="maxWalltime">03:41:00</profile><br>
> > >   <profile namespace="globus" key="jobsPerNode">1</profile><br>
> > >   <profile namespace="globus" key="slots">10</profile><br>
> > >   <profile namespace="globus" key="ppn">2</profile><br>
> > >   <profile namespace="globus" key="jobtype">single</profile><br>
> > >   <profile namespace="globus" key="nodeGranularity">16</profile><br>
> > >   <profile namespace="globus" key="maxnodes">16</profile><br>
> > >   <profile namespace="karajan" key="jobThrottle">2.20</profile><br>
> > >   <profile namespace="karajan" key="initialScore">10000</profile><br>
> > > <!--  <profile namespace="globus" key="keepSiteDir">true</profile>--><br>
> > >   <workdirectory>/home/ketan/swift.workdir</workdirectory><br>
> > > </pool><br>
> > ><br>
> > > <pool handle="localhost"><br>
> > >   <execution provider="coaster" jobmanager="local:local" /><br>
> > >   <profile namespace="globus" key="slots">1</profile><br>
> > >   <profile namespace="karajan" key="jobThrottle">2.06</profile><br>
> > >   <profile namespace="karajan" key="initialScore">10000</profile><br>
> > >   <profile namespace="globus" key="jobsPerNode">3</profile><br>
> > >   <profile namespace="globus" key="maxtime">9700</profile><br>
> > >   <profile namespace="globus" key="maxWalltime">02:39:00</profile><br>
> > >   <profile namespace="globus" key="walltime">10060</profile><br>
> > >   <profile namespace="globus" key="maxnodes">1</profile><br>
> > >   <profile namespace="globus" key="nodegranularity">1</profile><br>
> > >  <!-- <profile namespace="globus" key="keepSiteDir">true</profile>--><br>
> > ><br>
> > >   <workdirectory>/home/ketan/swift.workdir</workdirectory><br>
> > >   <filesystem provider="local"/><br>
> > > </pool><br>
> > ><br>
> > > </config><br>
> > ><br>
> > > However, Swift runs only 1 task throughout the workflow even after<br>
> > reaching<br>
> > > the foreach loop.<br>
> > ><br>
> > > Any suggestions?<br>
> > ><br>
> > > Thanks,<br>
> > > Ketan<br>
> > > _______________________________________________<br>
> > > Swift-user mailing list<br>
> > > <a href="mailto:Swift-user@ci.uchicago.edu">Swift-user@ci.uchicago.edu</a><br>
> > > <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user</a><br>
> ><br>
> ><br>
> > _______________________________________________<br>
> > Swift-user mailing list<br>
> > <a href="mailto:Swift-user@ci.uchicago.edu">Swift-user@ci.uchicago.edu</a><br>
> > <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user</a><br>
> ><br>
<br>
<br>
_______________________________________________<br>
Swift-user mailing list<br>
<a href="mailto:Swift-user@ci.uchicago.edu">Swift-user@ci.uchicago.edu</a><br>
<a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user</a><br>
</div></div></blockquote></div><br></div>