<div dir="ltr">Hi,<div><br></div><div>Running a workflow, I need to run 10 PBS tasks each with a size of 16 nodes. </div><div><br></div><div>The workflow starts with 4 single task stages and then fans out to a foreach loop with 10 tasks.</div><div><br></div><div>Here is the sites file I am using:</div><div><br></div><div><div><?xml version="1.0" encoding="UTF-8"?></div><div><config xmlns="<a href="http://www.ci.uchicago.edu/swift/SwiftSites">http://www.ci.uchicago.edu/swift/SwiftSites</a>"></div><div><pool handle="blues"></div><div>  <execution provider="coaster" jobmanager="local:pbs"/></div><div>  <filesystem provider="local" url="none" /></div><div>  <profile namespace="globus" key="maxtime">13400</profile></div><div>  <profile namespace="globus" key="maxWalltime">03:41:00</profile></div><div>  <profile namespace="globus" key="jobsPerNode">1</profile></div><div>  <profile namespace="globus" key="slots">10</profile></div><div>  <profile namespace="globus" key="ppn">2</profile></div><div>  <profile namespace="globus" key="jobtype">single</profile></div><div>  <profile namespace="globus" key="nodeGranularity">16</profile></div><div>  <profile namespace="globus" key="maxnodes">16</profile></div><div>  <profile namespace="karajan" key="jobThrottle">2.20</profile></div><div>  <profile namespace="karajan" key="initialScore">10000</profile></div><div><!--  <profile namespace="globus" key="keepSiteDir">true</profile>--></div><div>  <workdirectory>/home/ketan/swift.workdir</workdirectory></div><div></pool></div><div><br></div><div><pool handle="localhost"></div><div>  <execution provider="coaster" jobmanager="local:local" /></div><div>  <profile namespace="globus" key="slots">1</profile></div><div>  <profile namespace="karajan" key="jobThrottle">2.06</profile></div><div>  <profile namespace="karajan" key="initialScore">10000</profile></div><div>  <profile namespace="globus" key="jobsPerNode">3</profile></div><div>  <profile namespace="globus" key="maxtime">9700</profile></div><div>  <profile namespace="globus" key="maxWalltime">02:39:00</profile></div><div>  <profile namespace="globus" key="walltime">10060</profile></div><div>  <profile namespace="globus" key="maxnodes">1</profile></div><div>  <profile namespace="globus" key="nodegranularity">1</profile></div><div> <!-- <profile namespace="globus" key="keepSiteDir">true</profile>--></div><div><br></div><div>  <workdirectory>/home/ketan/swift.workdir</workdirectory></div><div>  <filesystem provider="local"/></div><div></pool></div><div><br></div><div></config></div></div><div><br></div><div>However, Swift runs only 1 task throughout the workflow even after reaching the foreach loop.</div><div><br></div><div>Any suggestions?</div><div><br></div><div>Thanks,</div><div>Ketan</div></div>