<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Hi Kushal,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">In the discussion we had off-list, I'd recommended the following changes:</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">* Set maxWallTime to ~9hours and maxJobTime to ~36hours. </div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">* Set initialParallelTasks and maxParallelTasks to the number of app invocation necessary.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">* Since the application does not use multiple-cores, set tasksPerNode to the number of cores on the target machines</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">* Add pools for other queues (westmere, sandyb, and bigmem)</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">* maxNodesPerJob=1</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Were you able to complete the runs with these changes ?</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Thanks,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Yadu</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jan 9, 2015 at 10:19 AM, kushal kumar dey <span dir="ltr"><<a href="mailto:kshldey@gmail.com" target="_blank">kshldey@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span style="font-size:13px">Hi,</span><div style="font-size:13px"><br></div><div style="font-size:13px">I am a graduate student in the University of Chicago and I am currently trying to run a parallel script using Swift-lang on the Midway cluster. I need your help regarding optimally choosing the configuration to run my program.  I am running 100 parallel scripts at a time in the "bigmem" machine, and each task takes around <b>5 hours </b>to complete. I have been asked in the Swift Configuration file (the program I am using to run these parallel scripts)  to set the following in the configuration file</div><div style="font-size:13px"><br></div><div style="font-size:13px">max Nodes per Job : </div><div style="font-size:13px">maxJobs:</div><div style="font-size:13px">tasks per Node:</div><div style="font-size:13px">max Job time:  (This I am setting as 36 hours currently)</div><div style="font-size:13px">max Wall time : (this i am setting as 34 hours right now)</div><div style="font-size:13px">max Parallel Task</div><div style="font-size:13px">Initial Parallel Task</div><div style="font-size:13px"><br></div><div style="font-size:13px">Can you please let me know what numbers I should be putting in these options so that I can optimally run my 100 jobs in parallel and given that each of these tasks takes around 5 hours, whether it would be possible to complete all the 100 tasks in 36 hours?</div><div style="font-size:13px"><br></div><div style="font-size:13px">If you could give me the optimal configuration or at least give some intuition about how to fix it, it would be really helpful..This is the first time I am running jobs in parallel, so I have very little idea about it...</div><div style="font-size:13px"><br></div><div style="font-size:13px"><br></div><div style="font-size:13px">Thanks a lot</div><span class="HOEnZb"><font color="#888888"><div style="font-size:13px"><br></div><div style="font-size:13px">Kushal</div><div style="font-size:13px"><br></div><div style="font-size:13px"><br></div></font></span></div>
<br>_______________________________________________<br>
Swift-user mailing list<br>
<a href="mailto:Swift-user@ci.uchicago.edu">Swift-user@ci.uchicago.edu</a><br>
<a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user</a><br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Yadu Nand B<div><br></div></div></div>
</div>