Hi Dr. Latham,<div>Thanks for your suggestion. I have another question regarding the second phase for collective read. After timing each process's cost in the shuffle phase, I found that the aggregator usually finishes first, then non-aggregators finishes later. Is it because the aggregator first send the data to a buffer then other processes receive the data from the buffer? If it's true, can I say, each aggregator's shuffle cost equals the aggregator' sending cost plus the maximum receiving cost of other processes?</div>
<div><br></div><div>Thanks,</div><div><br></div><div>Jialin</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Oct 25, 2012 at 12:47 PM, Rob Latham <span dir="ltr"><<a href="mailto:robl@mcs.anl.gov" target="_blank">robl@mcs.anl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On Thu, Oct 25, 2012 at 12:05:00PM -0500, Jaln wrote:<br>
> Hello everybody,<br>
><br>
> I want to evaluate some ideas regarding the I/O aggregators. But have no<br>
> idea how to modify the mpich2 and pvfs2.<br>
> The idea basically is to pass some hint from mpich to pvfs layer.<br>
> What I want to do are:<br>
> 1. For collective read, e.g., in 'ad_read_coll.c', I can see the two-phase<br>
> I/O is implemented there. I want to assign some values for each aggregator,<br>
> e.g., priority value for various aggregators.<br>
> 2. Still for read, I want the assigned value can be seen by the underlying<br>
> file systems' job scheduler. e.g., in pvfs2, src/io/job/job.c,<br>
> then the file system's job scheduler can schedule the aggregators by the<br>
> assigned value.<br>
<br>
</div>PVFS2 has a facility for end-to-end tracing, but it's not often used.<br>
I think the pvfs2-developers mailing list might be a good place to<br>
discuss that feature.<br>
<br>
You will probably have to modify ad_read_coll to make explicit<br>
PVFS_sys_io calls.<br>
<span class="HOEnZb"><font color="#888888"><br>
==rob<br>
<br>
<br>
--<br>
Rob Latham<br>
Mathematics and Computer Science Division<br>
Argonne National Lab, IL USA<br>
</font></span></blockquote></div><br><br clear="all"><div><br></div><br>
</div>