YMMV but for other projects I've not found any compatibility issues between OpenJDK and Oracle's java - their codebases are mostly the same anyway now.  I don't think there are really any other open source jdks in wide use (GCJ is pretty much a dead project, about a decade behind the Java standard).<br>
<br>- Tim<br><br><div class="gmail_quote">On Sun, Mar 10, 2013 at 11:05 AM, Michael Wilde <span dir="ltr"><<a href="mailto:wilde@mcs.anl.gov" target="_blank">wilde@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Good point, Ketan. We should document this on the site guide for Beagle.<br>
<br>
We should also file a bug to fix this some day (ie find out why we dont work well with this java and if possible fix it.  But thats very low prio; for now we want to make sure all Swift users run on Sun Java 1.7.<br>
<br>
I had sun java in my .modules file.  Mihael has now added the -l flag to make sure that automatic coaster bootstrap runs the user's init to pick up such things.<br>
<br>
Yadu, this raises another issue for the test plan and suite: testing on multiple Javas and carefully deciding and controlling the Java we use. More important than this esoteric Cray IBM Java is validating Swift on popular open source Javas.<br>

<br>
- Mike<br>
<br>
----- Original Message -----<br>
> From: "Ketan Maheshwari" <<a href="mailto:ketancmaheshwari@gmail.com">ketancmaheshwari@gmail.com</a>><br>
> To: "Mihael Hategan" <<a href="mailto:hategan@mcs.anl.gov">hategan@mcs.anl.gov</a>><br>
> Cc: "Michael Wilde" <<a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a>>, "Swift Devel" <<a href="mailto:swift-devel@ci.uchicago.edu">swift-devel@ci.uchicago.edu</a>><br>
> Sent: Saturday, March 9, 2013 8:24:56 PM<br>
> Subject: Re: [Swift-devel] Cant get auto-coasters to run from midway to beagle<br>
><br>
><br>
> IBM jdk on beagle is known to not function well with Swift coasters.<br>
> We had to switch to Sun jdk for ssh:pbs runs from<br>
> bridled/communicado.<br>
><br>
><br>
><br>
> On Sat, Mar 9, 2013 at 7:43 PM, Mihael Hategan < <a href="mailto:hategan@mcs.anl.gov">hategan@mcs.anl.gov</a><br>
> > wrote:<br>
><br>
><br>
> I noticed some random weirdness due to the fact that the coaster<br>
> service<br>
> runs with the ibm jdk.<br>
><br>
> I'll run some tests with both and see what happens.<br>
><br>
> Mihael<br>
><br>
><br>
><br>
> On Sat, 2013-03-09 at 17:49 -0600, Michael Wilde wrote:<br>
> > An update on this provider staging related issue: reducing filesize<br>
> > from 17MB to 600KB runs well.<br>
> ><br>
> > So seems like some kind of flow control or buffer management<br>
> > problem, possibly?<br>
> ><br>
> > May need to take that problem offline - would be a perfect test<br>
> > case for Yadu to develop a new stress test for.<br>
> ><br>
> > - Mike<br>
> ><br>
> ><br>
> > ----- Forwarded Message -----<br>
> > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > Sent: Saturday, March 9, 2013 5:21:49 PM<br>
> > Subject: Re: runs for OSG talk<br>
> ><br>
> > OK, much better: with 600K files (5x5 reduction or 25X smaller) it<br>
> > works well, and fast (form midway to beagle!)<br>
> ><br>
> > Swift 0.94RC4 swift-r6284 cog-r3607 (cog modified locally)<br>
> ><br>
> > RunID: 20130309-2319-5zq0jrfg<br>
> > Progress: time: Sat, 09 Mar 2013 23:19:45 +0000<br>
> > Progress: time: Sat, 09 Mar 2013 23:19:56 +0000 Selecting site:269<br>
> > Submitting:47 Submitted:1<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:05 +0000 Selecting site:269<br>
> > Stage in:1 Submitted:47<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:09 +0000 Selecting site:269<br>
> > Stage in:47 Active:1<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:10 +0000 Selecting site:269<br>
> > Stage in:46 Active:1 Stage out:1<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:11 +0000 Selecting site:250<br>
> > Stage in:19 Active:28 Stage out:1 Finished successfully:19<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:12 +0000 Selecting site:229<br>
> > Stage in:18 Submitting:21 Active:1 Stage out:7 Finished<br>
> > successfully:41<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:13 +0000 Selecting site:220<br>
> > Stage in:41 Submitting:1 Active:5 Stage out:1 Finished<br>
> > successfully:49<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:14 +0000 Selecting site:220<br>
> > Stage in:38 Active:1 Stage out:9 Finished successfully:49<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:15 +0000 Selecting site:212<br>
> > Stage in:30 Submitting:8 Stage out:9 Finished successfully:58<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:16 +0000 Selecting site:203<br>
> > Stage in:38 Submitting:8 Submitted:1 Finished successfully:67<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:18 +0000 Selecting site:202<br>
> > Stage in:19 Stage out:28 Finished successfully:68<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:19 +0000 Selecting site:172<br>
> > Stage in:33 Submitting:2 Submitted:6 Active:5 Stage out:2 Finished<br>
> > successfully:97<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:20 +0000 Selecting site:170<br>
> > Stage in:31 Submitting:2 Stage out:14 Finished successfully:100<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:21 +0000 Selecting site:162<br>
> > Stage in:30 Submitting:10 Stage out:6 Finished successfully:109<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:22 +0000 Selecting site:154<br>
> > Stage in:39 Submitting:5 Submitted:3 Active:1 Finished<br>
> > successfully:115<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:23 +0000 Selecting site:154<br>
> > Stage in:21 Active:10 Stage out:16 Finished successfully:116<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:24 +0000 Selecting site:126<br>
> > Stage in:20 Submitting:25 Submitted:1 Stage out:2 Finished<br>
> > successfully:143<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:25 +0000 Selecting site:124<br>
> > Stage in:31 Active:2 Stage out:15 Finished successfully:145<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:26 +0000 Selecting site:110<br>
> > Stage in:30 Submitting:14 Stage out:3 Finished successfully:160<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:27 +0000 Selecting site:106<br>
> > Stage in:43 Submitting:1 Submitted:1 Active:1 Stage out:2 Finished<br>
> > successfully:163<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:28 +0000 Selecting site:104<br>
> > Stage in:20 Submitting:2 Active:7 Stage out:19 Finished<br>
> > successfully:165<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:29 +0000 Selecting site:78<br>
> > Stage in:29 Submitting:16 Submitted:1 Stage out:2 Finished<br>
> > successfully:191<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:31 +0000 Selecting site:76<br>
> > Stage in:30 Stage out:17 Finished successfully:194<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:32 +0000 Selecting site:58<br>
> > Stage in:29 Submitting:18 Active:1 Finished successfully:211<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:33 +0000 Selecting site:58<br>
> > Stage in:33 Active:3 Stage out:12 Finished successfully:211<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:34 +0000 Selecting site:46<br>
> > Stage in:18 Submitting:11 Submitted:1 Active:2 Stage out:14<br>
> > Finished successfully:225<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:35 +0000 Selecting site:30<br>
> > Stage in:29 Active:14 Stage out:3 Finished successfully:241<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:36 +0000 Selecting site:28<br>
> > Stage in:28 Submitting:2 Stage out:17 Finished successfully:242<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:37 +0000 Selecting site:10<br>
> > Stage in:30 Submitting:17 Submitted:1 Finished successfully:259<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:38 +0000 Selecting site:10<br>
> > Stage in:35 Stage out:13 Finished successfully:259<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:39 +0000 Stage in:21<br>
> > Submitting:6 Submitted:3 Stage out:15 Finished successfully:272<br>
> > Progress: time: Sat, 09 Mar 2013 23:20:40 +0000 Stage in:10<br>
> > Active:5 Stage out:14 Finished successfully:288<br>
> > Final status: Sat, 09 Mar 2013 23:20:41 +0000 Finished<br>
> > successfully:317<br>
> ><br>
> > real 0m58.953s<br>
> > user 0m32.573s<br>
> > sys 0m1.263s<br>
> > + mv /home/wilde/.swift/runs/current/run029.1362871183<br>
> > /home/wilde/.swift/runs/completed<br>
> > midway001$<br>
> ><br>
> ><br>
> ><br>
> > ----- Original Message -----<br>
> > > From: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > Sent: Saturday, March 9, 2013 5:12:59 PM<br>
> > > Subject: Re: runs for OSG talk<br>
> > ><br>
> > ><br>
> > > Yep - I had a version where the input files were in a very<br>
> > > similar<br>
> > > format (PGM, 1 byte per pixel). I'll add that back, but without<br>
> > > the<br>
> > > small PGM header in the files.<br>
> > ><br>
> > > ----- Original Message -----<br>
> > ><br>
> > ><br>
> > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > Sent: Saturday, March 9, 2013 5:04:43 PM<br>
> > > Subject: Re: runs for OSG talk<br>
> > ><br>
> > > I think we need to cut down the size of these files for a demo<br>
> > > (although they are great for a stress test).<br>
> > ><br>
> > > First, the RGB format by itself uses 3 bytes per pixel when it<br>
> > > only<br>
> > > needs one (for land use)<br>
> > ><br>
> > > Second, we should cut down by a factor of 9 (3x3) or 16 (4x4).<br>
> > ><br>
> > > I tried that using simple convert statements, but it always seems<br>
> > > to<br>
> > > yield a file exactly double what it should be.<br>
> > ><br>
> > > More on this later; was hoping to get things working "as is"<br>
> > > first.<br>
> > ><br>
> > > I assume you could get the perl code to work on<br>
> > > one-byte-per-pixel<br>
> > > instead of the default 3 for the convert rgb format?<br>
> > ><br>
> > > - Mike<br>
> > ><br>
> > > ----- Original Message -----<br>
> > > > From: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > Sent: Saturday, March 9, 2013 4:36:30 PM<br>
> > > > Subject: Re: runs for OSG talk<br>
> > > ><br>
> > > ><br>
> > > > That would probably be a good idea for a new script, to show<br>
> > > > how to<br>
> > > > stage apps like that. For now I updated the scripts on lustre..<br>
> > > > hopefully that helps.<br>
> > > ><br>
> > > > ----- Original Message -----<br>
> > > ><br>
> > > ><br>
> > > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > Sent: Saturday, March 9, 2013 4:29:14 PM<br>
> > > > Subject: Re: runs for OSG talk<br>
> > > ><br>
> > > > OK, I see that its trying to run getlanduse.sh from your<br>
> > > > /lustre<br>
> > > > dir<br>
> > > > on beagle, which is different than the one Ive got checked out.<br>
> > > > It<br>
> > > > seems to get an error in a stderr redirect??? Let me se what I<br>
> > > > need<br>
> > > > to do to get the beagle side in sync.<br>
> > > ><br>
> > > > Seems like since these are perl scripts, we should make the<br>
> > > > app()<br>
> > > > /bin/sh and send the script as data, perhaps?<br>
> > > ><br>
> > > > - Mike<br>
> > > ><br>
> > > > ----- Original Message -----<br>
> > > > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > Sent: Saturday, March 9, 2013 4:19:31 PM<br>
> > > > > Subject: Re: runs for OSG talk<br>
> > > > ><br>
> > > > > OK, making progress. Now I dialed down the throttle and node<br>
> > > > > counts<br>
> > > > > to 48 jobs.<br>
> > > > ><br>
> > > > > Now I get further, for ./demo and site=4 script=2:<br>
> > > > ><br>
> > > > > RunID: 20130309-2214-1oi3rvea<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:14:06 +0000<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:14:17 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Submitting:47 Submitted:1<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:14:22 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:1 Submitted:47<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:14:28 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:25 Submitted:23<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:14:36 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:48<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:15:06 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:48<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:15:36 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:48<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:16:06 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:48<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:16:26 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:47 Active:1<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:16:27 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:36 Active:12<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:16:29 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:24 Active:24<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:16:34 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:24 Active:23 Stage out:1<br>
> > > > > Progress: time: Sat, 09 Mar 2013 22:16:35 +0000 Selecting<br>
> > > > > site:269<br>
> > > > > Stage in:14 Active:33 Stage out:1<br>
> > > > > Execution failed:<br>
> > > > > Exception in getlanduse:<br>
> > > > > Arguments:<br>
> > > > > [home/wilde/osgdemo/modis/svn/data/modis/2002/h08v04.rgb]<br>
> > > > > Host: beagle<br>
> > > > > Directory:<br>
> > > > > modis02-20130309-2214-1oi3rvea/jobs/k/getlanduse-ko5qjd6l<br>
> > > > ><br>
> > > > > Caused by:<br>
> > > > > Application /lustre/beagle/davidk/modis/bin/getlanduse.sh<br>
> > > > > failed<br>
> > > > > with an exit code of 1<br>
> > > > > getLandUse, modis02.swift, line 20<br>
> > > > ><br>
> > > > > real 2m31.463s<br>
> > > > > user 1m33.238s<br>
> > > > > sys 0m2.160s<br>
> > > > > + mv /home/wilde/.swift/runs/current/run024.1362867244<br>
> > > > > /home/wilde/.swift/runs/completed<br>
> > > > > midway001$<br>
> > > > ><br>
> > > > ><br>
> > > > > ----- Original Message -----<br>
> > > > > > From: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > Sent: Saturday, March 9, 2013 3:55:30 PM<br>
> > > > > > Subject: Re: runs for OSG talk<br>
> > > > > ><br>
> > > > > ><br>
> > > > > > ok, I'll take a look at that. The run dir I used was<br>
> > > > > > /scratch/midway/davidkelly999/modis/run011<br>
> > > > > ><br>
> > > > > ><br>
> > > > > > ----- Original Message -----<br>
> > > > > ><br>
> > > > > ><br>
> > > > > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > Sent: Saturday, March 9, 2013 3:52:28 PM<br>
> > > > > > Subject: Re: runs for OSG talk<br>
> > > > > ><br>
> > > > > > I just tried this, but didnt work - same prob.<br>
> > > > > ><br>
> > > > > > But if its working for you now, we must be close.<br>
> > > > > ><br>
> > > > > > Not yet sure what the diff is...<br>
> > > > > ><br>
> > > > > > My run dir is /home/wilde/osgdemo/modis/svn/run021<br>
> > > > > ><br>
> > > > > > - Mike<br>
> > > > > ><br>
> > > > > > ----- Original Message -----<br>
> > > > > > > From: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > Sent: Saturday, March 9, 2013 3:46:13 PM<br>
> > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > > > Had to make sure I was using the IP address on eth4<br>
> > > > > > > <a href="tel:%28128.135.112.71" value="+12813511271">(128.135.112.71</a><br>
> > > > > > > for midway-login1), not a local address or an infiniband<br>
> > > > > > > address.<br>
> > > > > > ><br>
> > > > > > > ----- Original Message -----<br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > > > From: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > Sent: Saturday, March 9, 2013 3:43:51 PM<br>
> > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > > > I just got it working. I had to adjust for the<br>
> > > > > > > differences in<br>
> > > > > > > my<br>
> > > > > > > username on Beagle/Midway, then I had to set<br>
> > > > > > > GLOBUS_HOSTNAME<br>
> > > > > > > on<br>
> > > > > > > Midway to the IP address, rather than the full hostname<br>
> > > > > > ><br>
> > > > > > > ----- Original Message -----<br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > Sent: Saturday, March 9, 2013 3:40:03 PM<br>
> > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > > > ----- Original Message -----<br>
> > > > > > > > From: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > > Sent: Saturday, March 9, 2013 3:34:58 PM<br>
> > > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > > ><br>
> > > > > > > ><br>
> > > > > > > > Is your username the same on beagle and midway?<br>
> > > > > > ><br>
> > > > > > > Yes. And I verified that I can ssh to login4 on beagle<br>
> > > > > > > from<br>
> > > > > > > my<br>
> > > > > > > midway<br>
> > > > > > > session (as indeed the scp's of the proxy files seem to<br>
> > > > > > > be<br>
> > > > > > > working)<br>
> > > > > > ><br>
> > > > > > > - Mike<br>
> > > > > > ><br>
> > > > > > > ><br>
> > > > > > > > ----- Original Message -----<br>
> > > > > > > ><br>
> > > > > > > ><br>
> > > > > > > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > > Sent: Saturday, March 9, 2013 3:34:28 PM<br>
> > > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > > ><br>
> > > > > > > > OK.<br>
> > > > > > > ><br>
> > > > > > > > Ignore what I said about "problem finding java" - thats<br>
> > > > > > > > code<br>
> > > > > > > > in<br>
> > > > > > > > the<br>
> > > > > > > > very long escaped shell command that gets sent to the<br>
> > > > > > > > remote<br>
> > > > > > > > side.<br>
> > > > > > > > I<br>
> > > > > > > > dont *think* thats the problem.<br>
> > > > > > > ><br>
> > > > > > > > I also verified that beagle can connect to ports 50001<br>
> > > > > > > > etc<br>
> > > > > > > > on<br>
> > > > > > > > swift.rcc, and that seems OK.<br>
> > > > > > > ><br>
> > > > > > > > I exported GLOBUS_HOSTNAME= <a href="http://midway001.rcc.uchicago.edu" target="_blank">midway001.rcc.uchicago.edu</a><br>
> > > > > > > > on<br>
> > > > > > > > the<br>
> > > > > > > > midway<br>
> > > > > > > > side. And the beagle side seems to be connecting there.<br>
> > > > > > > ><br>
> > > > > > > > Im a bit confused about the timestamps I see for the<br>
> > > > > > > > proxy<br>
> > > > > > > > expiration<br>
> > > > > > > > time, but am not yet suspicious of that (although it<br>
> > > > > > > > seems<br>
> > > > > > > > less<br>
> > > > > > > > than<br>
> > > > > > > > 5 hours past GMT... not sure.)<br>
> > > > > > > ><br>
> > > > > > > > - Mike<br>
> > > > > > > ><br>
> > > > > > > > ----- Original Message -----<br>
> > > > > > > > > From: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > > > Sent: Saturday, March 9, 2013 3:26:32 PM<br>
> > > > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > > > ><br>
> > > > > > > > ><br>
> > > > > > > > > I'm seeing the same error now.. looking into it<br>
> > > > > > > > ><br>
> > > > > > > > > ----- Original Message -----<br>
> > > > > > > > ><br>
> > > > > > > > ><br>
> > > > > > > > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > > > Sent: Saturday, March 9, 2013 3:21:30 PM<br>
> > > > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > > > ><br>
> > > > > > > > > Looking deeper I see that the logs show problems with<br>
> > > > > > > > > finding<br>
> > > > > > > > > Java,<br>
> > > > > > > > > I<br>
> > > > > > > > > assume on beagle, ans also service ending (presumably<br>
> > > > > > > > > coaster<br>
> > > > > > > > > service on midway host).<br>
> > > > > > > > ><br>
> > > > > > > > > I'll dig into these two.<br>
> > > > > > > > ><br>
> > > > > > > > > I see that it scp's the proxies to beagle which I<br>
> > > > > > > > > think<br>
> > > > > > > > > answers<br>
> > > > > > > > > my<br>
> > > > > > > > > question about security.<br>
> > > > > > > > ><br>
> > > > > > > > > - Mike<br>
> > > > > > > > ><br>
> > > > > > > > > ----- Original Message -----<br>
> > > > > > > > > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > > > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > > > > Sent: Saturday, March 9, 2013 3:15:01 PM<br>
> > > > > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > > > > ><br>
> > > > > > > > > > OK. Any thoughts about beagle?<br>
> > > > > > > > > ><br>
> > > > > > > > > > Ive been experimenting but still cant get it to<br>
> > > > > > > > > > work,<br>
> > > > > > > > > > same<br>
> > > > > > > > > > error<br>
> > > > > > > > > > (cant connect to bootstrap port)<br>
> > > > > > > > > ><br>
> > > > > > > > > > WHen you tried ssh-cl to beagle with automatic<br>
> > > > > > > > > > coasters,<br>
> > > > > > > > > > what<br>
> > > > > > > > > > configuration (sites env etc) did you use?<br>
> > > > > > > > > ><br>
> > > > > > > > > > I verified that beagle can connect back to the<br>
> > > > > > > > > > midway<br>
> > > > > > > > > > hosts<br>
> > > > > > > > > > and<br>
> > > > > > > > > > ports.<br>
> > > > > > > > > ><br>
> > > > > > > > > > Do we need to specify security or create a proxy<br>
> > > > > > > > > > etc?<br>
> > > > > > > > > ><br>
> > > > > > > > > > Thanks,<br>
> > > > > > > > > ><br>
> > > > > > > > > > - Mike<br>
> > > > > > > > > ><br>
> > > > > > > > > ><br>
> > > > > > > > > > ----- Original Message -----<br>
> > > > > > > > > > > From: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > > > > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > > > > > Sent: Saturday, March 9, 2013 3:08:58 PM<br>
> > > > > > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > > One way you can override/customize the default<br>
> > > > > > > > > > > templates<br>
> > > > > > > > > > > is<br>
> > > > > > > > > > > to<br>
> > > > > > > > > > > create<br>
> > > > > > > > > > > them in $HOME/.swift/sites (I'm not sure if<br>
> > > > > > > > > > > that's<br>
> > > > > > > > > > > what<br>
> > > > > > > > > > > you<br>
> > > > > > > > > > > mean<br>
> > > > > > > > > > > by<br>
> > > > > > > > > > > a local sites dir or not). But you are right<br>
> > > > > > > > > > > about<br>
> > > > > > > > > > > Midway<br>
> > > > > > > > > > > -<br>
> > > > > > > > > > > I<br>
> > > > > > > > > > > have<br>
> > > > > > > > > > > noticed that when using modis it will sometimes<br>
> > > > > > > > > > > get<br>
> > > > > > > > > > > stuck<br>
> > > > > > > > > > > when<br>
> > > > > > > > > > > it<br>
> > > > > > > > > > > goes to a queue that is busy. Ideally swift<br>
> > > > > > > > > > > replication<br>
> > > > > > > > > > > would<br>
> > > > > > > > > > > be<br>
> > > > > > > > > > > able to help better handle that, but I haven't<br>
> > > > > > > > > > > had<br>
> > > > > > > > > > > much<br>
> > > > > > > > > > > luck<br>
> > > > > > > > > > > with<br>
> > > > > > > > > > > that yet. Another way around this may be to add<br>
> > > > > > > > > > > this<br>
> > > > > > > > > > > to<br>
> > > > > > > > > > > the<br>
> > > > > > > > > > > template:<br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > > <profile namespace="globus"<br>
> > > > > > > > > > > key="slurm.exclusive">false</profile><br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > > The swift.log issue was never fixed. It went to<br>
> > > > > > > > > > > swift-devel<br>
> > > > > > > > > > > for<br>
> > > > > > > > > > > discussion but was never fixed. I think it is<br>
> > > > > > > > > > > relatively<br>
> > > > > > > > > > > simple<br>
> > > > > > > > > > > though.. probably worth fixing before release.<br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > > ----- Original Message -----<br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > > > > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > > > > > Sent: Saturday, March 9, 2013 1:38:47 PM<br>
> > > > > > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > OK, sounds good re the trip plan. Feel free to<br>
> > > > > > > > > > > stay<br>
> > > > > > > > > > > Tue<br>
> > > > > > > > > > > night<br>
> > > > > > > > > > > to<br>
> > > > > > > > > > > avoid a 4hr drive after a long day.<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > Im trying the modis demo.<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > I tried to create a local sites/ dir so I can<br>
> > > > > > > > > > > modify<br>
> > > > > > > > > > > the<br>
> > > > > > > > > > > sites<br>
> > > > > > > > > > > templates; thats not working for me either yet.<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > For midway, need to force to westmere or sandyb<br>
> > > > > > > > > > > (but<br>
> > > > > > > > > > > not<br>
> > > > > > > > > > > both)<br>
> > > > > > > > > > > and<br>
> > > > > > > > > > > ensure 1-node jobs, because either queue can get<br>
> > > > > > > > > > > filled<br>
> > > > > > > > > > > and<br>
> > > > > > > > > > > not<br>
> > > > > > > > > > > yield an idle node for a long time. maybe need to<br>
> > > > > > > > > > > fiddle<br>
> > > > > > > > > > > jobsPerNode<br>
> > > > > > > > > > > to get at least 1 core when the system is busy<br>
> > > > > > > > > > > and<br>
> > > > > > > > > > > *pretend*<br>
> > > > > > > > > > > that<br>
> > > > > > > > > > > its a node.<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > So to get response I tried beagle-ssh; That isnt<br>
> > > > > > > > > > > working<br>
> > > > > > > > > > > because<br>
> > > > > > > > > > > the<br>
> > > > > > > > > > > template sites file is wrong in swift 0.94 rc4.<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > I also see that swift.log is still getting<br>
> > > > > > > > > > > produced -<br>
> > > > > > > > > > > I<br>
> > > > > > > > > > > thought<br>
> > > > > > > > > > > we<br>
> > > > > > > > > > > eliminated that. Did it come back due to a<br>
> > > > > > > > > > > problem<br>
> > > > > > > > > > > with<br>
> > > > > > > > > > > that<br>
> > > > > > > > > > > fix?<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > I'll keep hacking; suggestions welcome.<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > - Mike<br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > > ----- Original Message -----<br>
> > > > > > > > > > > > From: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > > > > > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > > > > > > Sent: Saturday, March 9, 2013 12:20:00 PM<br>
> > > > > > > > > > > > Subject: Re: runs for OSG talk<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > Hi Mike,<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > Looking more closely at the agenda, I think the<br>
> > > > > > > > > > > > most<br>
> > > > > > > > > > > > interesting/useful talks will be on Tuesday.<br>
> > > > > > > > > > > > Monday<br>
> > > > > > > > > > > > I'll<br>
> > > > > > > > > > > > come<br>
> > > > > > > > > > > > to<br>
> > > > > > > > > > > > Argonne to work on any loose ends and put the<br>
> > > > > > > > > > > > finishing<br>
> > > > > > > > > > > > touches<br>
> > > > > > > > > > > > on<br>
> > > > > > > > > > > > any slides/runs/scripts, then drive to<br>
> > > > > > > > > > > > Indianapolis<br>
> > > > > > > > > > > > on<br>
> > > > > > > > > > > > Monday<br>
> > > > > > > > > > > > afternoon/evening. I have a hotel booked for<br>
> > > > > > > > > > > > Monday<br>
> > > > > > > > > > > > night.<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > I'll do some runs using the routes we talked<br>
> > > > > > > > > > > > about.<br>
> > > > > > > > > > > > I'm<br>
> > > > > > > > > > > > pretty<br>
> > > > > > > > > > > > sure<br>
> > > > > > > > > > > > I<br>
> > > > > > > > > > > > have working configurations for everything we<br>
> > > > > > > > > > > > talked<br>
> > > > > > > > > > > > about,<br>
> > > > > > > > > > > > so<br>
> > > > > > > > > > > > I<br>
> > > > > > > > > > > > think it's really just a matter of plugging in<br>
> > > > > > > > > > > > the<br>
> > > > > > > > > > > > apps.<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > David<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > ----- Original Message -----<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > > > > > > > > > To: "David Kelly" < <a href="mailto:davidk@ci.uchicago.edu">davidk@ci.uchicago.edu</a> ><br>
> > > > > > > > > > > > Sent: Saturday, March 9, 2013 11:03:15 AM<br>
> > > > > > > > > > > > Subject: runs for OSG talk<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > Hi David,<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > I just wanted to let you know that Im looking<br>
> > > > > > > > > > > > into<br>
> > > > > > > > > > > > the<br>
> > > > > > > > > > > > run<br>
> > > > > > > > > > > > options<br>
> > > > > > > > > > > > now. Im hoping to try a few... WIll see how<br>
> > > > > > > > > > > > much<br>
> > > > > > > > > > > > help<br>
> > > > > > > > > > > > I<br>
> > > > > > > > > > > > need.<br>
> > > > > > > > > > > > Have<br>
> > > > > > > > > > > > you decided on a driving time and made hotel<br>
> > > > > > > > > > > > arrangements?<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > I would feel free to stay for whatever portion<br>
> > > > > > > > > > > > of<br>
> > > > > > > > > > > > the<br>
> > > > > > > > > > > > OSG<br>
> > > > > > > > > > > > meeting<br>
> > > > > > > > > > > > you<br>
> > > > > > > > > > > > feel is of value. The only thing I ask is that<br>
> > > > > > > > > > > > for<br>
> > > > > > > > > > > > Wed<br>
> > > > > > > > > > > > and<br>
> > > > > > > > > > > > Thu<br>
> > > > > > > > > > > > you<br>
> > > > > > > > > > > > stay available online for user-support or other<br>
> > > > > > > > > > > > assistance<br>
> > > > > > > > > > > > needs<br>
> > > > > > > > > > > > that come up here. And that you engage with<br>
> > > > > > > > > > > > people<br>
> > > > > > > > > > > > that<br>
> > > > > > > > > > > > can<br>
> > > > > > > > > > > > help<br>
> > > > > > > > > > > > us<br>
> > > > > > > > > > > > develop the Swift user community and reliable<br>
> > > > > > > > > > > > OSG<br>
> > > > > > > > > > > > usage.<br>
> > > > > > > > > > > > Rob,<br>
> > > > > > > > > > > > Marco,<br>
> > > > > > > > > > > > Lincoln, and Suchandra would be good to hang<br>
> > > > > > > > > > > > out<br>
> > > > > > > > > > > > with<br>
> > > > > > > > > > > > and<br>
> > > > > > > > > > > > they<br>
> > > > > > > > > > > > can<br>
> > > > > > > > > > > > introduce you to good contacts.<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > Of course we will cover your expenses via a<br>
> > > > > > > > > > > > UChicago<br>
> > > > > > > > > > > > travel<br>
> > > > > > > > > > > > expense<br>
> > > > > > > > > > > > report.<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > We'll be starting a project with a tiny bit of<br>
> > > > > > > > > > > > additional<br>
> > > > > > > > > > > > ExTENCI<br>
> > > > > > > > > > > > funds to make Swift do smarter data management<br>
> > > > > > > > > > > > on<br>
> > > > > > > > > > > > OSG<br>
> > > > > > > > > > > > sites<br>
> > > > > > > > > > > > (and<br>
> > > > > > > > > > > > in<br>
> > > > > > > > > > > > general) so anything you learn about OSG<br>
> > > > > > > > > > > > storage<br>
> > > > > > > > > > > > elements/services/tools will be valuable for<br>
> > > > > > > > > > > > that<br>
> > > > > > > > > > > > (srmcp,<br>
> > > > > > > > > > > > lcgcp,<br>
> > > > > > > > > > > > etc).<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > Between now and your talk, lets just focus on<br>
> > > > > > > > > > > > the<br>
> > > > > > > > > > > > talk,<br>
> > > > > > > > > > > > OK?<br>
> > > > > > > > > > > > Im<br>
> > > > > > > > > > > > hoping<br>
> > > > > > > > > > > > we have slides frozen by Monday.<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > While I fiddle, if you could do catsn or other<br>
> > > > > > > > > > > > hello-world-like<br>
> > > > > > > > > > > > tests<br>
> > > > > > > > > > > > to cover the "routes" we discussed, that would<br>
> > > > > > > > > > > > pave<br>
> > > > > > > > > > > > the<br>
> > > > > > > > > > > > way<br>
> > > > > > > > > > > > for<br>
> > > > > > > > > > > > plugging in the real app examples.<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > Sound good? Let me know of any concerns (other<br>
> > > > > > > > > > > > than<br>
> > > > > > > > > > > > the<br>
> > > > > > > > > > > > fact<br>
> > > > > > > > > > > > that<br>
> > > > > > > > > > > > this is a tad rushed ;)<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > Thanks and regards,<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > - Mike<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > > --<br>
> > > > > > > > > > > > Michael Wilde<br>
> > > > > > > > > > > > Computation Institute, University of Chicago<br>
> > > > > > > > > > > > Mathematics and Computer Science Division<br>
> > > > > > > > > > > > Argonne National Laboratory<br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > ><br>
> > > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > > ><br>
> > > > > > > > > ><br>
> > > > > > > > ><br>
> > > > > > > > ><br>
> > > > > > > ><br>
> > > > > > > ><br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > > ><br>
> > > > > ><br>
> > > > > ><br>
> > > > ><br>
> > > ><br>
> > > ><br>
> > ><br>
> > ><br>
> > _______________________________________________<br>
> > Swift-devel mailing list<br>
> > <a href="mailto:Swift-devel@ci.uchicago.edu">Swift-devel@ci.uchicago.edu</a><br>
> > <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel</a><br>
><br>
><br>
> _______________________________________________<br>
> Swift-devel mailing list<br>
> <a href="mailto:Swift-devel@ci.uchicago.edu">Swift-devel@ci.uchicago.edu</a><br>
> <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Ketan<br>
><br>
><br>
_______________________________________________<br>
Swift-devel mailing list<br>
<a href="mailto:Swift-devel@ci.uchicago.edu">Swift-devel@ci.uchicago.edu</a><br>
<a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel</a><br>
</blockquote></div><br>