>From the log, for all cases where input path is full, a full path is passed as app() args. From the logs:<div><br></div><div>Case1.: input path full : jobid=catnap-fmveuqik tr=catnap arguments=[1, home/ketan/cdm_tests/data4.txt]</div>
<div><br></div><div>Case2.: input path relative: jobid=catnap-li8fuqik tr=catnap arguments=[1, data2.txt]<br><br><br><div class="gmail_quote">On Mon, Nov 14, 2011 at 1:59 PM, Michael Wilde <span dir="ltr"><<a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">I meant the command line to the app() program, not the commandline to the swift command.<br>
<div class="im"><br>
- Mike<br>
<br>
----- Original Message -----<br>
> From: "Ketan Maheshwari" <<a href="mailto:ketancmaheshwari@gmail.com">ketancmaheshwari@gmail.com</a>><br>
> To: "Michael Wilde" <<a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a>><br>
> Cc: "Swift Devel" <<a href="mailto:swift-devel@ci.uchicago.edu">swift-devel@ci.uchicago.edu</a>><br>
</div><div><div></div><div class="h5">> Sent: Monday, November 14, 2011 11:50:48 AM<br>
> Subject: Re: [Swift-devel] CDM Tests<br>
> All commandlines are in a run.sh script batched together. I am writing<br>
> a README in the testsuite to document this.<br>
><br>
><br>
> On Mon, Nov 14, 2011 at 1:46 PM, Michael Wilde < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> wrote:<br>
><br>
><br>
> Ketan, in these tests, I thought that the names that the app actually<br>
> receives on its command line is worth documenting. Does that show<br>
> anything that the script writer should be aware of?<br>
><br>
><br>
> - Mike<br>
><br>
> ----- Original Message -----<br>
><br>
><br>
><br>
> > From: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > To: "Ketan Maheshwari" < <a href="mailto:ketancmaheshwari@gmail.com">ketancmaheshwari@gmail.com</a> ><br>
> > Cc: "Swift Devel" < <a href="mailto:swift-devel@ci.uchicago.edu">swift-devel@ci.uchicago.edu</a> ><br>
> > Sent: Monday, November 14, 2011 11:39:10 AM<br>
> > Subject: Re: [Swift-devel] CDM Tests<br>
> > Even though the tests worked in each of these 4 cases, the question<br>
> > remains of "did the app see the same path names" and "did copies get<br>
> > done"?<br>
> ><br>
> > So I think you need to dig deeper and explain the difference between<br>
> > what CDM does for the direct case, and how (if at all) the wrapper<br>
> > mode affects things.<br>
> ><br>
> > Its equally possible that CDM overrode the wrapper mode arg. Just<br>
> > specifying the wrapper mode arg will not, I think, achieve the<br>
> > elimination of the "copy to shared workflow directory" that "direct<br>
> > mode" accomplishes.<br>
> ><br>
> > - Mike<br>
> ><br>
> > ----- Original Message -----<br>
> > > From: "Ketan Maheshwari" < <a href="mailto:ketancmaheshwari@gmail.com">ketancmaheshwari@gmail.com</a> ><br>
> > > To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > Cc: "Swift Devel" < <a href="mailto:swift-devel@ci.uchicago.edu">swift-devel@ci.uchicago.edu</a> >, "Justin M<br>
> > > Wozniak"<br>
> > > < <a href="mailto:wozniak@mcs.anl.gov">wozniak@mcs.anl.gov</a> ><br>
> > > Sent: Monday, November 14, 2011 11:29:36 AM<br>
> > > Subject: Re: [Swift-devel] CDM Tests<br>
> > > Mike,<br>
> > ><br>
> > ><br>
> > > In my initial email I said:<br>
> > ><br>
> > ><br>
> > > ... when specifying the relative option on the config for<br>
> > > wrapper.invocation.mode property the script works regardless of<br>
> > > the<br>
> > > paths of input/output.<br>
> > ><br>
> > ><br>
> > > Which made me conclude that the option specified in the config for<br>
> > > wrapper.invocation.mode property overrides the CDM policies.<br>
> > ><br>
> > ><br>
> > > On Mon, Nov 14, 2011 at 1:21 PM, Michael Wilde < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a><br>
> > > ><br>
> > > wrote:<br>
> > ><br>
> > ><br>
> > > Ketan,<br>
> > ><br>
> > > I thought your initial email stated that the 4 cases of relative<br>
> > > path<br>
> > > names "worked". But this latter comment indicates that there is<br>
> > > some<br>
> > > kind of problem even in the relative cases.<br>
> > ><br>
> > > Can you clarify?<br>
> > ><br>
> > ><br>
> > > - Mike<br>
> > ><br>
> > ><br>
> > > ----- Original Message -----<br>
> > > > From: "Ketan Maheshwari" < <a href="mailto:ketancmaheshwari@gmail.com">ketancmaheshwari@gmail.com</a> ><br>
> > ><br>
> > ><br>
> > ><br>
> > > > To: "Justin M Wozniak" < <a href="mailto:wozniak@mcs.anl.gov">wozniak@mcs.anl.gov</a> ><br>
> > > > Cc: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> >, "Swift Devel" <<br>
> > > > <a href="mailto:swift-devel@ci.uchicago.edu">swift-devel@ci.uchicago.edu</a> ><br>
> > > > Sent: Monday, November 14, 2011 11:01:35 AM<br>
> > > > Subject: Re: [Swift-devel] CDM Tests<br>
> > > > Given the CDM's support for relative pathnames, I would expect<br>
> > > > the<br>
> > > > case of relative inputs, relative outputs would succeed<br>
> > > > irrespective<br>
> > > > of config. However, from the tests, it seems that the config<br>
> > > > option<br>
> > > > is<br>
> > > > overriding CDM directives.<br>
> > > ><br>
> > > ><br>
> > > > On Mon, Nov 14, 2011 at 12:44 PM, Justin M Wozniak <<br>
> > > > <a href="mailto:wozniak@mcs.anl.gov">wozniak@mcs.anl.gov</a> > wrote:<br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > > CDM DIRECT does not currently support absolute path names. I<br>
> > > > think<br>
> > > > we<br>
> > > > could provide something simple like "" for the field, as you<br>
> > > > suggest.<br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > > On Mon, 14 Nov 2011, Michael Wilde wrote:<br>
> > > ><br>
> > > > > I would expect that for absolute path mappings, the user would<br>
> > > > > specify<br>
> > > > > either :: or "/" as the path in the CDM DIRECT pattern. In<br>
> > > > > other<br>
> > > > > words,<br>
> > > > > the user is saying "I have mapped the object to an absolute<br>
> > > > > path<br>
> > > > > name,<br>
> > > > > and I want the app to get exactly this name". Hence I think<br>
> > > > > that<br>
> > > > > the<br>
> > > > > best "location" field for a DIRECT rule is null ("").<br>
> > > > ><br>
> > > > > Justin, can you clarify what the code expects for this case?<br>
> > > > ><br>
> > > > > - Mike<br>
> > > > ><br>
> > > > > ----- Original Message -----<br>
> > > > >> From: "Jonathan Monette" < <a href="mailto:jonmon@mcs.anl.gov">jonmon@mcs.anl.gov</a> ><br>
> > > > >> To: "Michael Wilde" < <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a> ><br>
> > > > >> Cc: "Ketan Maheshwari" < <a href="mailto:ketancmaheshwari@gmail.com">ketancmaheshwari@gmail.com</a> >, "Swift<br>
> > > > >> Devel" < <a href="mailto:swift-devel@ci.uchicago.edu">swift-devel@ci.uchicago.edu</a> ><br>
> > > > >> Sent: Monday, November 14, 2011 9:13:01 AM<br>
> > > > >> Subject: Re: [Swift-devel] CDM Tests<br>
> > > > >> I couldn't tell from the excel(using my phone) but what was<br>
> > > > >> absolute?<br>
> > > > >> If I am not mistaken what CDM does is takes the path that is<br>
> > > > >> specified<br>
> > > > >> in the CDM file(which should be absolute) and appends the<br>
> > > > >> file<br>
> > > > >> path<br>
> > > > >> that is used in the swift script to it(which should be<br>
> > > > >> relative).<br>
> > > > >> So<br>
> > > > >> if they are both absolute I would expect it to fail.<br>
> > > > >><br>
> > > > >><br>
> > > > >><br>
> > > > >> On Nov 14, 2011, at 10:56 AM, Michael Wilde <<br>
> > > > >> <a href="mailto:wilde@mcs.anl.gov">wilde@mcs.anl.gov</a><br>
> > > > >> ><br>
> > > > >> wrote:<br>
> > > > >><br>
> > > > >>> Thanks, Ketan - very nice tests and summary document.<br>
> > > > >>><br>
> > > > >>> I should point out for those that didn't open the doc: the 4<br>
> > > > >>> tests<br>
> > > > >>> with absolute pathnames are failing.<br>
> > > > >>><br>
> > > > >>> Ketan, can you work with Justin to see if this is a bug, or<br>
> > > > >>> if<br>
> > > > >>> the<br>
> > > > >>> CDM directive needs to be coded differently for absolute<br>
> > > > >>> paths?<br>
> > > > >>> Then<br>
> > > > >>> please test a fix, and as we discussed adapt the tests with<br>
> > > > >>> annotations to enhance the User Guide section on CDM.<br>
> > > > >>><br>
> > > > >>> - Mike<br>
> > > > >>><br>
> > > > >>><br>
> > > > >>> ----- Original Message -----<br>
> > > > >>>> From: "Ketan Maheshwari" < <a href="mailto:ketancmaheshwari@gmail.com">ketancmaheshwari@gmail.com</a> ><br>
> > > > >>>> To: "Swift Devel" < <a href="mailto:swift-devel@ci.uchicago.edu">swift-devel@ci.uchicago.edu</a> ><br>
> > > > >>>> Sent: Monday, November 14, 2011 8:13:48 AM<br>
> > > > >>>> Subject: [Swift-devel] CDM Tests<br>
> > > > >>>> Hello,<br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>> I had a discussion with Mike about testing the CDM behavior<br>
> > > > >>>> for<br>
> > > > >>>> the<br>
> > > > >>>> following cases:<br>
> > > > >>>> 1. full versus relative paths for input<br>
> > > > >>>> 2. full versus relative paths for output<br>
> > > > >>>> 3. relative versus absolute option in config property:<br>
> > > > >>>> wrapper.invocation.mode<br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>> In this regard, I made 8 tests for all the above<br>
> > > > >>>> combinations.<br>
> > > > >>>> I<br>
> > > > >>>> used<br>
> > > > >>>> simple local provider in this first set of tests.<br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>> From the tests it seems that when specifying the relative<br>
> > > > >>>> option<br>
> > > > >>>> on<br>
> > > > >>>> the config for wrapper.invocation.mode property the script<br>
> > > > >>>> works<br>
> > > > >>>> regardless of the paths of input/output.<br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>> A detailed result with stdout, and paths to logs can be<br>
> > > > >>>> found<br>
> > > > >>>> here:<br>
> > > > >>>> <a href="https://docs.google.com/spreadsheet/ccc?key=0AmvYSwENKFY9dG44V2VjRXJlUmZLNG9saERFeWZDcUE" target="_blank">https://docs.google.com/spreadsheet/ccc?key=0AmvYSwENKFY9dG44V2VjRXJlUmZLNG9saERFeWZDcUE</a><br>

> > > > >>>><br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>> The tests are in my CI dir: /home/ketan/cdm_tests<br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>> Regards, --<br>
> > > > >>>> Ketan<br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>><br>
> > > > >>>> _______________________________________________<br>
> > > > >>>> Swift-devel mailing list<br>
> > > > >>>> <a href="mailto:Swift-devel@ci.uchicago.edu">Swift-devel@ci.uchicago.edu</a><br>
> > > > >>>> <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel</a><br>
> > > > >>><br>
> > > > >>> --<br>
> > > > >>> Michael Wilde<br>
> > > > >>> Computation Institute, University of Chicago<br>
> > > > >>> Mathematics and Computer Science Division<br>
> > > > >>> Argonne National Laboratory<br>
> > > > >>><br>
> > > > >>> _______________________________________________<br>
> > > > >>> Swift-devel mailing list<br>
> > > > >>> <a href="mailto:Swift-devel@ci.uchicago.edu">Swift-devel@ci.uchicago.edu</a><br>
> > > > >>> <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel</a><br>
> > > > ><br>
> > > > ><br>
> > > ><br>
> > > > --<br>
> > > > Justin M Wozniak<br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > > _______________________________________________<br>
> > > > Swift-devel mailing list<br>
> > > > <a href="mailto:Swift-devel@ci.uchicago.edu">Swift-devel@ci.uchicago.edu</a><br>
> > > > <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel</a><br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > > --<br>
> > > > Ketan<br>
> > ><br>
> > > --<br>
> > > Michael Wilde<br>
> > > Computation Institute, University of Chicago<br>
> > > Mathematics and Computer Science Division<br>
> > > Argonne National Laboratory<br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > ><br>
> > > --<br>
> > > Ketan<br>
> ><br>
> > --<br>
> > Michael Wilde<br>
> > Computation Institute, University of Chicago<br>
> > Mathematics and Computer Science Division<br>
> > Argonne National Laboratory<br>
> ><br>
> > _______________________________________________<br>
> > Swift-devel mailing list<br>
> > <a href="mailto:Swift-devel@ci.uchicago.edu">Swift-devel@ci.uchicago.edu</a><br>
> > <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel</a><br>
><br>
> --<br>
> Michael Wilde<br>
> Computation Institute, University of Chicago<br>
> Mathematics and Computer Science Division<br>
> Argonne National Laboratory<br>
><br>
><br>
><br>
><br>
><br>
> --<br>
> Ketan<br>
<br>
--<br>
Michael Wilde<br>
Computation Institute, University of Chicago<br>
Mathematics and Computer Science Division<br>
Argonne National Laboratory<br>
<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>Ketan<br><br><br>
</div>