On Fri, Sep 4, 2009 at 2:25 PM, Nguyen, Hung V ERDC-ITL-MS <span dir="ltr">&lt;<a href="mailto:Hung.V.Nguyen@usace.army.mil">Hung.V.Nguyen@usace.army.mil</a>&gt;</span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br>
Hello,<br>
<br>
I have a problem with saving a matrix with the binary viewer<br>
PetscBinaryViewerOpen() for the matrix with nrow=853564, nnzeros=47191472.<br>
The application ran with 32 pes for more than 3 hours without writing any<br>
into file.<br>
However, the same executable ran for small size of application<br>
(nrows-12856,nnzeros=675744) and were able to write successfully binary<br>
files.<br></blockquote><div><br>Much bigger matrices than this are routinely saved. I do not think this has to do<br>with MatView() in particular, unless this is a very slow disk. You can check with the<br>debugger where the code is currently occupied. This sounds to me more like a<br>
deadlock (not calling the routine with every process).<br><br>  Matt<br> </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Note: using Totalview I found that it hang in the line of<br>
Matview(matrix-&gt;petsc, fd);<br>
<br>
Thank you,<br>
<br>
-hung<br>
<br>
--- code:<br>
      petsc_analyst_mat(matrix-&gt;petsc);<br>
      sprintf(file[LOAD_MATRIX],&quot;Matrix.at%f&quot;,t_prev);<br>
      PetscViewerBinaryOpen(PETSC_COMM_WORLD,<br>
file[LOAD_MATRIX],FILE_MODE_WRITE,&amp;fd);<br>
      MatView(matrix-&gt;petsc, fd);<br>
      PetscViewerDestroy(fd);<br>
<br>
---- Matrix info using salsa/AnaMod module:<br>
<br>
Computed &lt;simple:trace&gt; as &lt;9.362113e+03&gt;<br>
Computed &lt;simple:trace-abs&gt; as &lt;9.362623e+03&gt;<br>
Computed &lt;simple:norm1&gt; as &lt;2.800000e+01&gt;<br>
Computed &lt;simple:normInf&gt; as &lt;2.800000e+01&gt;<br>
Computed &lt;simple:normF&gt; as &lt;2.404511e+02&gt;<br>
Computed &lt;simple:diagonal-dominance&gt; as &lt;-3.064463e-02&gt;<br>
Could not compute &lt;simple:symmetry-snorm&gt;<br>
Could not compute &lt;simple:symmetry-anorm&gt;<br>
Could not compute &lt;simple:symmetry-fsnorm&gt;<br>
Could not compute &lt;simple:symmetry-fanorm&gt;<br>
Could not compute &lt;structure:n-struct-unsymm&gt;<br>
Computed &lt;structure:nrows&gt; as &lt;853564&gt;<br>
Could not compute &lt;structure:symmetry&gt;<br>
Computed &lt;structure:nnzeros&gt; as &lt;47191472&gt;<br>
Computed &lt;structure:max-nnzeros-per-row&gt; as &lt;112&gt;<br>
Computed &lt;structure:min-nnzeros-per-row&gt; as &lt;16&gt;<br>
</blockquote></div><br><br clear="all"><br>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener<br>