In addition to JOB_START, vdl:execute2 is associated with many events:<br><br>THREAD_ASSOCIATION<br>APPLICATION_EXCEPTION<br>STAGING_OUT<br>..<br><br>Ketan<br><br><div class="gmail_quote">On Thu, Jun 30, 2011 at 5:39 PM, Allan Espinosa <span dir="ltr"><<a href="mailto:aespinosa@cs.uchicago.edu">aespinosa@cs.uchicago.edu</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">I think JOB_START are the vdl:execute2 ones if i remember correctly.<br>
<div><div></div><div class="h5"><br>
2011/6/30 Ketan Maheshwari <<a href="mailto:ketancmaheshwari@gmail.com">ketancmaheshwari@gmail.com</a>>:<br>
> Thanks Allan.<br>
><br>
>  In some log files, I do not see any execute2 lines. However, I do see<br>
> JOB_START lines ending with host=<hostname>. I confirmed that the logs<br>
> indeed belong to successful complete runs. While in other logs corresponding<br>
> to other successful runs, I do see the execute2 lines.<br>
><br>
> All the runs were carried out using the same version of Swift. Am I missing<br>
> something here?<br>
><br>
> Ketan<br>
><br>
><br>
> On Thu, Jun 30, 2011 at 11:45 AM, Allan Espinosa <<a href="mailto:aespinosa@cs.uchicago.edu">aespinosa@cs.uchicago.edu</a>><br>
> wrote:<br>
>><br>
>> Hi Ketan,<br>
>><br>
>> What I do is match the jobnames with the sites by matching execute2<br>
>> log information.  I have a set of R and ruby scripts in<br>
>> ~aespinosa/Documents/swift that analyzes the number of transfers per<br>
>> site.  You can modify them to look for job execution.<br>
>><br>
>> If you look at one of the makefile targets in libexec/log-processing,<br>
>> you can find files with the name 'color'.  these targets to swift plot<br>
>> logs colors the plot per site.<br>
>><br>
>> To just explore the general statistics, I obtain the execute2.event<br>
>> file from the log using<br>
>><br>
>> $swift-plot-log logfile execute2.event<br>
>><br>
>> And then just use R to analyze the *.event file.<br>
>><br>
>> 2011/6/30 Ketan Maheshwari <<a href="mailto:ketancmaheshwari@gmail.com">ketancmaheshwari@gmail.com</a>>:<br>
>> > Hello,<br>
>> ><br>
>> > Does anyone knows from swift log, how to find how many jobs executed on<br>
>> > a<br>
>> > given site when there is a mix of localhost and osg sites?<br>
>> ><br>
>> > I have logs of many runs each with about 3400 app tasks ran on localhost<br>
>> > +<br>
>> > osg sites.<br>
>> ><br>
>> > Trying to look into log and find that there are multiple messages<br>
>> > corresponding to staging in-out, run and other events (change in score,<br>
>> > thread associations, etc.).<br>
>> ><br>
>> > What should I be looking to identify each job uniquely?<br>
>> ><br>
>> > Thanks for any help on this.<br>
>> ><br>
>> > Regards,<br>
>> > --<br>
>> > Ketan<br>
>> ><br>
>> ><br>
>> ><br>
>> > _______________________________________________<br>
>> > Swift-devel mailing list<br>
>> > <a href="mailto:Swift-devel@ci.uchicago.edu">Swift-devel@ci.uchicago.edu</a><br>
>> > <a href="https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel" target="_blank">https://lists.ci.uchicago.edu/cgi-bin/mailman/listinfo/swift-devel</a><br>
>> ><br>
>> ><br>
>><br>
>><br>
>><br>
>> --<br>
>> Allan M. Espinosa <<a href="http://amespinosa.wordpress.com" target="_blank">http://amespinosa.wordpress.com</a>><br>
>> PhD student, Computer Science<br>
>> University of Chicago <<a href="http://people.cs.uchicago.edu/%7Eaespinosa" target="_blank">http://people.cs.uchicago.edu/~aespinosa</a>><br>
><br>
><br>
><br>
> --<br>
> Ketan<br>
><br>
><br>
><br>
<br>
<br>
<br>
</div></div>--<br>
<div><div></div><div class="h5">Allan M. Espinosa <<a href="http://amespinosa.wordpress.com" target="_blank">http://amespinosa.wordpress.com</a>><br>
PhD student, Computer Science<br>
University of Chicago <<a href="http://people.cs.uchicago.edu/%7Eaespinosa" target="_blank">http://people.cs.uchicago.edu/~aespinosa</a>><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Ketan<br><br><br>