On Fri, Jun 15, 2012 at 8:31 PM, Alexander Grayver <span dir="ltr"><<a href="mailto:agrayver@gfz-potsdam.de" target="_blank">agrayver@gfz-potsdam.de</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<u></u>

  
    
  
  <div bgcolor="#ffffff" text="#000000">
    Matt,<br>
    <br>
    According to that code:<br>
    <br>
    <pre width="80"><a name="137f0222fdf86feb_line486">486: </a><strong><font color="#4169e1"><a name="137f0222fdf86feb_MatMult_MPIDense"></a><a>PetscErrorCode</a> MatMult_MPIDense(<a>Mat</a> mat,<a>Vec</a> xx,<a>Vec</a> yy)</font></strong>
<a name="137f0222fdf86feb_line487">487: </a>{
<a name="137f0222fdf86feb_line488">488: </a>  Mat_MPIDense   *mdn = (Mat_MPIDense*)mat->data;

<a name="137f0222fdf86feb_line492">492: </a> <a>VecScatterBegin</a>(mdn->Mvctx,xx,mdn->lvec,<a>INSERT_VALUES</a>,<a>SCATTER_FORWARD</a>);
<a name="137f0222fdf86feb_line493">493: </a>  <a>VecScatterEnd</a>(mdn->Mvctx,xx,mdn->lvec,<a>INSERT_VALUES</a>,<a>SCATTER_FORWARD</a>);
<a name="137f0222fdf86feb_line494">494: </a>  MatMult_SeqDense(mdn->A,mdn->lvec,yy);
<a name="137f0222fdf86feb_line495">495: </a>  <font color="#4169e1">return</font>(0);
<a name="137f0222fdf86feb_line496">496: </a>}

</pre>
    Each process has its own local copy of the whole vector vectors? <br></div></blockquote><div><br></div><div>I am not sure what your point is. VecScatter is just an interface that has many implementations. What</div><div>
I am telling you is that the timing you sent only does reductions, no p2p messages.</div><div><br></div><div>    Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div bgcolor="#ffffff" text="#000000">
    On 15.06.2012 14:27, Matthew Knepley wrote:
    <blockquote type="cite">On Fri, Jun 15, 2012 at 8:22 PM, Alexander Grayver <span dir="ltr"><<a href="mailto:agrayver@gfz-potsdam.de" target="_blank">agrayver@gfz-potsdam.de</a>></span>
      wrote:<br>
      <div class="gmail_quote">
        <blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
          Hello,<br>
          <br>
          When I call MatMult with MPIDENSE matrix in log summary I see:<br>
          <br>
          Event                Count      Time (sec)     Flops          
                            --- Global ---  --- Stage ---   Total<br>
                            Max Ratio  Max     Ratio   Max  Ratio  Mess
            Avg len Reduct  %T %f %M %L %R  %T %f %M %L %R Mflop/s<br>
          ------------------------------------------------------------------------------------------------------------------------<br>
          MatMult                1 1.0 9.5740e-01 1.5 8.19e+08 1.0
          0.0e+00 0.0e+00 1.0e+00  2 40  0  0  5   2 40  0  0  6  3419<br>
          MatMultTranspose       1 1.0 1.0793e+00 1.4 8.18e+08 1.0
          0.0e+00 0.0e+00 2.0e+00  2 40  0  0 11   2 40  0  0 11  3030<br>
          <br>
          <br>
          Why do number of messages and their length equal zero?</blockquote>
        <div><br>
        </div>
        <div>Because it uses only collectives.</div>
        <div><br>
        </div>
        <div>   MAtt</div>
        <div> </div>
        <blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
          <span><font color="#888888"><br>
              -- <br>
              Regards,<br>
              Alexander<br>
              <br>
            </font></span></blockquote>
      </div>
      <br>
      <br clear="all"><span class="HOEnZb"><font color="#888888">
      <div><br>
      </div>
      -- <br>
      What most experimenters take for granted before they begin their
      experiments is infinitely more interesting than any results to
      which their experiments lead.<br>
      -- Norbert Wiener<br>
    </font></span></blockquote><span class="HOEnZb"><font color="#888888">
    <br>
    <br>
    <pre cols="72">-- 
Regards,
Alexander</pre>
  </font></span></div>

</blockquote></div><br><br clear="all"><div><br></div>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener<br>