<div dir="ltr">Hi,<div><br></div><div>I'm having trouble interfacing petsc to an application which I think is related to the ordering of the nodes. Here's what I'm trying to do:</div><div><br></div><div>The application uses a structured grid with a global array having dimensions N1 x N2, which is then decomposed into a local array with dimensions NX1 x NX2.</div><div><br></div><div>I create a Petsc DMDA using </div><div><br></div><div><div>    DMDACreate2d(MPI_COMM_WORLD,</div><div>                 DM_BOUNDARY_PERIODIC, DM_BOUNDARY_PERIODIC,</div><div>                 DMDA_STENCIL_BOX,</div><div>                 N1, N2,</div><div>                 N1/NX1, N2/NX2,</div><div>                 1, nghost, PETSC_NULL, PETSC_NULL,</div><div>                 &dmda);</div></div><div><br></div><div>and then use this to create a vec:</div><div><br></div><div><div>  DMCreateGlobalVector(dmda, &vec);</div></div><div><br></div><div>Now I copy the local contents of the application array to the petsc array using the following:</div><div><br></div><div>Let i, j be the application indices and iPetsc and jPetsc be petsc's indices, then:</div><div><div>  </div><div>DMDAGetCorners(dmda, &iStart, &jStart, &kStart,</div><div>                                         &iSize, &jSize, &kSize</div><div>                              );</div></div><div><br></div><div><br></div><div>double **arrayPetsc;</div><div><div>DMDAVecGetArray(dmda, vec, &arrayPetsc);</div></div><div><br></div><div>for (int j=0, jPetsc=jStart; j<NX2, jPetsc<jStart+jSize; j++, jPetsc++)</div><div>{</div><div>  for (int i=0, iPetsc=iStart; i<NX1, iPetsc<iStart+iSize; i++, iPetsc++)</div><div>  {</div><div>     arrayPetsc[jPetsc][iPetsc] = arrayApplication[j][i];</div><div>  }</div><div>}</div><div><br></div><div><div>DMDAVecRestoreArray(dmda, vec, &arrayPetsc);</div></div><div><br></div><div>Now if I VecView(vec, viewer) and look at the data that petsc has, it looks right when run with 1 proc, but if I use 4 procs it's all messed up (see attached plots).</div><div><br></div><div>I should probably be using the AO object but its not clear how. Could you help me out?</div><div><br></div><div>Thanks,</div><div>Mani</div></div>