<div dir="ltr">Mark, this is a reasonably reduced test case.<br><br>mpiexec -n 3 ./ex45 -da_grid_x 19 -da_grid_y 13 -da_grid_z 23 -pc_type gamg -pc_gamg_agg_nsmooths 1 -ksp_monitor<br><div class="gmail_extra"><br></div><div class="gmail_extra">
This is a symmetric graph, but not a symmetric matrix, though the asymmetry is only due to boundary conditions (boundary rows have only a diagonal nonzero; the other zeros are still stored explicitly). Do you have a preference about how this is handled? (I don't think we should need extra options to handle this extremely common case.)<br>
<br><div class="gmail_quote">On Wed, Jan 2, 2013 at 5:27 PM, Zhenglun (Alan) Wei <span dir="ltr"><<a href="mailto:zhenglun.wei@gmail.com" target="_blank">zhenglun.wei@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

  

    
  
  <div text="#000000" bgcolor="#FFFFFF">
    Hello all,<br>
        I did some other tests. Now, it is narrow down to this
    situation:<br>
        The domain and grid size is: 163*81*41 with 0.0125 = dx=dy=dz.
    The boundary condition is still the same. <br>
        The code runs well with 4 processes while the same problem
    occurs when I was trying to use more than 4 processes (e.g. 6 or 8
    processes). <br>
    <br>
         Hope this helps to detect the problem. <br>
    <br>
    thanks,<br>
    Alan<div><div class="h5"><br>
    <div><br>
      <br>
      -------- Original Message --------
      <table border="0" cellpadding="0" cellspacing="0">
        <tbody>
          <tr>
            <th nowrap valign="BASELINE" align="RIGHT">Subject:
            </th>
            <td>A quick question on 'un-symmetric graph'</td>
          </tr>
          <tr>
            <th nowrap valign="BASELINE" align="RIGHT">Date: </th>
            <td>Wed, 02 Jan 2013 15:41:47 -0600</td>
          </tr>
          <tr>
            <th nowrap valign="BASELINE" align="RIGHT">From: </th>
            <td>Zhenglun (Alan) Wei <a href="mailto:zhenglun.wei@gmail.com" target="_blank"><zhenglun.wei@gmail.com></a></td>
          </tr>
          <tr>
            <th nowrap valign="BASELINE" align="RIGHT">To: </th>
            <td>PETSc users list <a href="mailto:petsc-users@mcs.anl.gov" target="_blank"><petsc-users@mcs.anl.gov></a></td>
          </tr>
        </tbody>
      </table>
      <br>
      <br>
      <pre>Dear folks,
     Here I came across a problem.

[0]PETSC ERROR: Petsc has generated inconsistent data!
[0]PETSC ERROR: Have un-symmetric graph (apparently). Use 
'-pc_gamg_sym_graph true' to symetrize the graph or '-pc_gamg_threshold 
0.0' if the matrix is structurally symmetric.!

    My code basically uses PETSc /src/ksp/ksp/example/tutorial/ex45.c 
to solve the Poisson equation with the Dirichlet BC in x-direction and 
the Periodic BC in y- and z- direction.
    The executable file is:

mpiexec -f $PBS_NODEFILE -np 32 ./ex45 -pc_type gamg -ksp_type cg 
-pc_gamg_agg_nsmooths 1 -mg_levels_ksp_max_it 1 -mg_levels_ksp_type 
richardson -ksp_rtol 1.0e-7


    There is no problem for my code when I use small computational 
domain (83*41*21 with single core and even 163*81*41 with 4 processes). 
However, when I increase the domain size (323*161*81 with 32 processes), 
the error comes up. I wonder what's the possible reason of this kind of 
problem. Do you need any of my output in order to do some further 
inspection? or I just need to blindly add '-pc_gamg_sym_graph true' in 
PETSc option?

thanks,
Alan

</pre>
      <br>
    </div>
    <br>
  </div></div></div>

</blockquote></div><br></div></div>