Along with a couple typedefs and an app definition, yes. Is there a better way to do what I'm doing? Thanks,<div><br></div><div>Jonathan<br><br><div class="gmail_quote">On Mon, Oct 8, 2012 at 3:31 PM, Mihael Hategan <span dir="ltr"><<a href="mailto:hategan@mcs.anl.gov" target="_blank">hategan@mcs.anl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">The swift script you have for the parallel jobs, is it a simple foreach<br>
loop?<br>
<br>
Mihael<br>
<div><div class="h5"><br>
On Mon, 2012-10-08 at 14:29 -0500, Jonathan Margoliash wrote:<br>
> Hello swift-user,<br>
><br>
><br>
> I had a question about the design of my program. My program involves a<br>
> fair bit of matrix manipulations, so instead of writing the control<br>
> structure of the program in swift, I've written most of the logic and<br>
> data management in matlab scripts. The only functionality of swift<br>
> that I use is to parallelize large for-loops, while the code that runs<br>
> my swift scripts, and the apps that swift distributes inside each<br>
> for-loop, are written in matlab. In essence, I've created a program in<br>
> matlab which calls a swift script many times in serial, using swift to<br>
> distributing many jobs in parallel.<br>
><br>
><br>
> The issue I've come across is that after a certain number of serial<br>
> calls to swift, I need to do a significant amount of data crunching<br>
> before I can resume making serial swift calls. This data crunching is<br>
> resource-intensive enough that it can't be done on a log in node, but<br>
> not nearly intensive enough that it needs to be broken down into<br>
> component parts and parallelized. My question is, what is the correct<br>
> way of handling this situation? Does it make sense to write a separate<br>
> swift script whose body only contains a single app call, so I can get<br>
> this minor job run on one of the compute nodes? If I do it that way,<br>
> will there likely be a significant delay while the scheduler processes<br>
> my request, or is it likely to go through quickly because I'm only<br>
> asking for one node for a short period of time?<br>
><br>
><br>
> Thanks for your comments,<br>
><br>
><br>
> Jonathan<br>
</div></div>> _______________________________________________<br>
> Swift-user mailing list<br>
> <a href="mailto:Swift-user@ci.uchicago.edu">Swift-user@ci.uchicago.edu</a><br>
> <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user</a><br>
<br>
<br>
</blockquote></div><br></div>