Hi Ioan,<div><br></div><div>I've been extensively using Swift on Amazon EC2 via coasters. </div><div><br></div><div>I am using a fedora 8 image. </div><div><br></div><div>I use an external host as a submit host so, only perl (for <a href="http://worker.pl">worker.pl</a>; is installed) and application binaries needs to be on EC2 nodes.</div>
<div><br></div><div>The name of my image is ketan_mars and is on us-east-1 region.<br><br>Let me know if you have more questions in this regard. </div><div><br></div><div>Regards,</div><div>Ketan</div><div><br><div class="gmail_quote">
On Wed, Oct 24, 2012 at 12:47 PM, Ioan Raicu <span dir="ltr"><<a href="mailto:iraicu@cs.iit.edu" target="_blank">iraicu@cs.iit.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi David,<br>
Has anyone in the Swift group run Swift on Amazon? Perhaps there are<br>
already some pre-configured images Iman can use, that already has the<br>
environment (Linux, Java, Swift, PBS/Condor, GridFTP, NFS/PVFS, etc)<br>
setup and ready to use. If there are such images, please point Iman in<br>
the right direction. If not, perhaps after Iman finishes his<br>
configuration, we can reference his images for others to use on Amazon.<br>
Ioan<br>
<div><div class="h5"><br>
On 10/24/2012 10:28 AM, David Kelly wrote:<br>
> Iman,<br>
><br>
> There is some documentation on how to use the start-coaster-service script at <a href="http://www.ci.uchicago.edu/swift/guides/release-0.93/siteguide/siteguide.html#_bag_of_workstations" target="_blank">http://www.ci.uchicago.edu/swift/guides/release-0.93/siteguide/siteguide.html#_bag_of_workstations</a>. You should be able to follow the "bag of workstations" configuration example once you have started your EC2 instance. That may help to simplify things for you a bit. Please let me know if you have any questions or issues with this.<br>

><br>
> Thanks,<br>
> David<br>
><br>
> ----- Original Message -----<br>
>> From: "Iman Sadooghi" <<a href="mailto:isadoogh@iit.edu">isadoogh@iit.edu</a>><br>
>> To: <a href="mailto:swift-user@ci.uchicago.edu">swift-user@ci.uchicago.edu</a><br>
>> Sent: Tuesday, October 23, 2012 5:46:57 PM<br>
>> Subject: [Swift-user] running swift k on multiple instances on EC2, using coaster-service<br>
>> Hi everyone<br>
>><br>
>><br>
>> I am trying to run a Montage application workflow with swift on<br>
>> multiple instances of AMAZON EC2.<br>
>> So far I was able to set up a cluster, and a PVFS files system shared<br>
>> among the nodes ( using FUSE. so I will have POSIX interface on my<br>
>> swift work directory ).<br>
>> I have tried running a simple hello.swift example on multiple nodes<br>
>> with the coaster. the working directory is the shared folder<br>
>> (supported by PVFS).<br>
>> when I run the code using my own tc.data and sites.xml, this will<br>
>> happen:<br>
>><br>
>><br>
>><br>
>> (my command) ubuntu@ip-10-244-4-101:~/coaster$ swift -tc.file tc.data<br>
>> -sites.file sites.xml ~/swift-0.93/examples/swift/tutorial/hello.swift<br>
>> (results:)<br>
>> Swift 0.93 swift-r5483 cog-r3339<br>
>><br>
>><br>
>> RunID: 20121023-2200-4d3knr72<br>
>> Progress: time: Tue, 23 Oct 2012 22:00:50 +0000<br>
>> Find: <a href="http://10.244.4.101:1213" target="_blank">http://10.244.4.101:1213</a><br>
>> Find: keepalive(120), reconnect - <a href="http://10.244.4.101:1213" target="_blank">http://10.244.4.101:1213</a><br>
>> Passive queue processor initialized. Callback URI is<br>
>> <a href="http://10.244.4.101:1212" target="_blank">http://10.244.4.101:1212</a><br>
>> Progress: time: Tue, 23 Oct 2012 22:01:20 +0000 Submitted:1<br>
>> Progress: time: Tue, 23 Oct 2012 22:01:50 +0000 Submitted:1<br>
>> Progress: time: Tue, 23 Oct 2012 22:02:20 +0000 Submitted:1<br>
>> Progress: time: Tue, 23 Oct 2012 22:02:50 +0000 Submitted:1<br>
>> Progress: time: Tue, 23 Oct 2012 22:03:20 +0000 Submitted:1<br>
>> Progress: time: Tue, 23 Oct 2012 22:03:50 +0000 Submitted:1<br>
>> Progress: time: Tue, 23 Oct 2012 22:04:20 +0000 Submitted:1<br>
>><br>
>><br>
>> and it keeps doing this forever meaning that there is no answer from<br>
>> worker nodes!<br>
>> as I checked on worker nodes, the working files are created on the<br>
>> shared folder, and when i check the running applications, there is a<br>
>> java application running. but nothing happens.<br>
>> I have also attached the log file of my hello.swift running in case<br>
>> you need to take a look at it.<br>
>> should I consider using pbs, or condor,... I have no idea about how<br>
>> they work though.<br>
>><br>
>><br>
>> I appreciate if anyone can help me with it. Thank you so much.<br>
>><br>
>> Best, --<br>
>> Iman Sadooghi<br>
>> Illinois Institute of Technology (IIT)<br>
>> Data-Intensive Distributed Systems Laboratory<br>
>><br>
>><br>
>> _______________________________________________<br>
>> Swift-user mailing list<br>
>> <a href="mailto:Swift-user@ci.uchicago.edu">Swift-user@ci.uchicago.edu</a><br>
>> <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user</a><br>
> _______________________________________________<br>
> Swift-user mailing list<br>
> <a href="mailto:Swift-user@ci.uchicago.edu">Swift-user@ci.uchicago.edu</a><br>
> <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user</a><br>
<br>
</div></div>--<br>
=================================================================<br>
Ioan Raicu, Ph.D.<br>
Assistant Professor, Illinois Institute of Technology (IIT)<br>
Guest Research Faculty, Argonne National Laboratory (ANL)<br>
=================================================================<br>
Data-Intensive Distributed Systems Laboratory, CS/IIT<br>
Distributed Systems Laboratory, MCS/ANL<br>
=================================================================<br>
Cel:    <a href="tel:1-847-722-0876" value="+18477220876">1-847-722-0876</a><br>
Office: <a href="tel:1-312-567-5704" value="+13125675704">1-312-567-5704</a><br>
Email:  <a href="mailto:iraicu@cs.iit.edu">iraicu@cs.iit.edu</a><br>
Web:    <a href="http://www.cs.iit.edu/~iraicu/" target="_blank">http://www.cs.iit.edu/~iraicu/</a><br>
Web:    <a href="http://datasys.cs.iit.edu/" target="_blank">http://datasys.cs.iit.edu/</a><br>
=================================================================<br>
=================================================================<br>
<div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
Swift-user mailing list<br>
<a href="mailto:Swift-user@ci.uchicago.edu">Swift-user@ci.uchicago.edu</a><br>
<a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-user</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><font face="'courier new', monospace">Ketan</font><br><br><br>
</div>