Hi,<br><br>With your help, now I can trace IO related calls, MPI_File_write_all, in Flash IO using pnetcdf. Flash IO (or pnetcdf) issues 50 MPI_File_write_all() function calls, and I logged these calls with timestamps in MPI-level, PVFS2 client, and PVFS2 server. So I know which calls go where.<br>
<br>One weird thing is that there are missing calls in PVFS2 server logs. I got 50 IO calls in MPI-level and PVFS2 client log file, but only 38 calls in PVFS server logs. I believe that my scheme can even trace collective IO. I also know that Flash IO does not two phase collective buffering  and noncontiguous access.<br>
(The same things happened when using Flash IO with hdf5. Hdf5 issues 32 MPI_FIle_write_at_all() and some calls disappear.)<br><br>I post this question in pnetcdf, not PVFS2 forum because I think this is caused by Flash IO or pnetcdf-1.1.1. Actually I tested my mpich2 and pvfs2 with a simple MPI program which uses the same MPI_File_write_all and got all the correct results.<br>
<br>Do I miss something?<br><br>Regards,<br>Shawn <br>