I believe that the time reported there is collective sum of times divided by the collective sum<br>of the stage times. If you look at the time imbalance, it is a staggering 9.7, which either means<br><br>  1) The partition is really crap (which we know isn't true)<br>
<br>  2) Some procs spend a lot of time waiting<br><br>We can get at this waiting time with the split VecDot() events.<br><br>  Matt<br><br><div class="gmail_quote">On Mon, May 4, 2009 at 12:58 PM, Richard Tran Mills <span dir="ltr"><<a href="mailto:rmills@climate.ornl.gov">rmills@climate.ornl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">PETSc folks,<br>
<br>
I was looking over the log summary data for the 2 billion degrees of freedom transport problem, and I'm a bit puzzled by some of the things I'm seeing.  (I sent a tarball of this to the pflotran-dev list on April 30.)  For instance, looking at the run at 32768 cores, I see that the total time for the "transport" phase is 3.2139e+02 seconds.  But if I look at the VecDot line for the transport stage, I see<br>

<br>
Event                Count      Time (sec)     Flops    --- Global ---  --- Stage ---   Total<br>
                   Max Ratio  Max     Ratio   Max  Ratio  Mess   Avg len Reduct  %T %F %M %L %R  %T %F %M %L %R Mflop/s<br>
VecDot              1306 1.0 4.1529e+01 9.7 1.76e+08 1.1 0.0e+00 0.0e+00 1.3e+03  1  0  0  0  1   3  0  0  0 24 128305<br>
<br>
It's hard to read this the way my email client will wrap it, but it's saying that 3% of the time in the stage was spent on VecDot()s.  But the max time in VecDot is 4.1529e+01, close to thirteen percent.  Does the "%T" for the stage mean something other than what I think it does?<br>

<br>
--Richard<br><font color="#888888">
<br>
-- <br>
Richard Tran Mills, Ph.D.            |   E-mail: <a href="mailto:rmills@climate.ornl.gov" target="_blank">rmills@climate.ornl.gov</a><br>
Computational Scientist              |   Phone:  (865) 241-3198<br>
Computational Earth Sciences Group   |   Fax:    (865) 574-0405<br>
Oak Ridge National Laboratory        |   <a href="http://climate.ornl.gov/%7Ermills" target="_blank">http://climate.ornl.gov/~rmills</a><br>
</font></blockquote></div><br><br clear="all"><br>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener<br>