<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Mar 5, 2014 at 2:21 PM, Jed Brown <span dir="ltr"><<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">Xiangdong <<a href="mailto:epscodes@gmail.com">epscodes@gmail.com</a>> writes:<br>
<br>
> I got the following error messages on each processor when use mpiio:<br>
><br>
> [5]PETSC ERROR: DMDAArrayMPIIO() line 532 in<br>
> MyLocal/petsc/petsc-3.4.3/src/dm/impls/da/gr2.c<br>
<br>
</div>Looks like this line is failing.  Please either use a debugger or create<br>
a representative test case so we can debug.<br>
<br>
  ierr       = MPI_Type_create_subarray(dd->dim+1,gsizes,lsizes,lstarts,MPI_ORDER_FORTRAN,MPIU_SCALAR,&view);CHKERRQ(ierr);<br>
<br>
<br>
<br>
Does this work?<br>
<br>
petsc/src/ksp/ksp/examples/tutorials$ mpiexec -n 4 ./ex45 -da_refine 3 -ksp_monitor -pc_type mg -ksp_view_solution binary:foo -viewer_binary_mpiio<br></blockquote><div><br></div><div>This works fine. However, when I add the option -da_grid_x 8, the same error messages pop up. </div>
<div><br></div><div>It is strange that -da_grid_x 5 works fine. Moreover, if we set M=N=P=8, it also works fine.</div><div><br></div><div>Thank you.</div><div><br></div><div>Xiangdong</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div class=""><br>
> [5]PETSC ERROR: VecView_MPI_DA() line 605 in<br>
> MyLocal/petsc/petsc-3.4.3/src/dm/impls/da/gr2.c<br>
> [5]PETSC ERROR: VecView() line 717 in<br>
> MyLocal/petsc/petsc-3.4.3/src/vec/vec/interface/vector.c<br>
><br>
> The program does not crash, but skip writing the binary output.<br>
<br>
</div>That's because you weren't checking error codes.<br>
</blockquote></div><br></div></div>