<div dir="ltr">Hello,<div><br></div><div>I'm working on solve a linear system in parallel, following ex12 of the ksp tutorial i don't see major complication on doing so, so for a working linear system solver with PCJACOBI and KSPGCR i did only the following changes:</div><div><br></div><div> <font face="monospace, monospace">  call MatCreate(PETSC_COMM_WORLD,Ap,ierr) </font></div><div><font face="monospace, monospace" color="#cccccc">!  call MatSetType(Ap,MATSEQAIJ,ierr)<span class="gmail-Apple-tab-span" style="white-space:pre">          </span></font></div><div><font face="monospace, monospace">  call MatSetType(Ap,MATMPIAIJ,ierr) !paralellization</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">  call MatSetSizes(Ap,PETSC_DECIDE,PETSC_DECIDE,nbdp,nbdp,ierr);</font></div><div><font face="monospace, monospace"><br></font></div><div><font color="#999999"><span style="font-family:monospace,monospace">!  call MatSeqAIJSetPreallocationCSR(Ap,iapi,japi,app,ierr)</span><br></font></div><div><font face="monospace, monospace">  call MatSetFromOptions(Ap,ierr)</font></div><div><font face="monospace, monospace" color="#999999">!  call MatCreateSeqAIJWithArrays(PETSC_COMM_WORLD,nbdp,nbdp,iapi,japi,app,Ap,ierr)</font></div><div><font face="monospace, monospace"> call MatCreateMPIAIJWithArrays(PETSC_COMM_WORLD,floor(real(nbdp)/sizel),PETSC_DECIDE,nbdp,nbdp,iapi,japi,app,Ap,ierr)</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="arial, helvetica, sans-serif">I grayed out the changes from sequential implementation.</font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">So, it does not complain at runtime until it reaches KSPSolve(), with the following error:</font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><div><font face="monospace, monospace">[1]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: Object is in wrong state</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: Matrix is missing diagonal entry 0</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html">http://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: Petsc Release Version 3.7.3, unknown </font></div><div><font face="monospace, monospace">[1]PETSC ERROR: ./solvelinearmgPETSc                                                                                                                                                                                                                                            � � on a arch-linux2-c-debug named valera-HP-xw4600-Workstation by valera Mon Sep 26 13:35:15 2016</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: Configure options --with-cc=gcc --with-cxx=g++ --with-fc=gfortran --download-fblaslapack=1 --download-mpich=1 --download-ml=1</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: #1 MatILUFactorSymbolic_SeqAIJ() line 1733 in /home/valera/v5PETSc/petsc/petsc/src/mat/impls/aij/seq/aijfact.c</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: #2 MatILUFactorSymbolic() line 6579 in /home/valera/v5PETSc/petsc/petsc/src/mat/interface/matrix.c</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: #3 PCSetUp_ILU() line 212 in /home/valera/v5PETSc/petsc/petsc/src/ksp/pc/impls/factor/ilu/ilu.c</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: #4 PCSetUp() line 968 in /home/valera/v5PETSc/petsc/petsc/src/ksp/pc/interface/precon.c</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: #5 KSPSetUp() line 390 in /home/valera/v5PETSc/petsc/petsc/src/ksp/ksp/interface/itfunc.c</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: #6 PCSetUpOnBlocks_BJacobi_Singleblock() line 650 in /home/valera/v5PETSc/petsc/petsc/src/ksp/pc/impls/bjacobi/bjacobi.c</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: #7 PCSetUpOnBlocks() line 1001 in /home/valera/v5PETSc/petsc/petsc/src/ksp/pc/interface/precon.c</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: #8 KSPSetUpOnBlocks() line 220 in /home/valera/v5PETSc/petsc/petsc/src/ksp/ksp/interface/itfunc.c</font></div><div><font face="monospace, monospace">[1]PETSC ERROR: #9 KSPSolve() line 600 in /home/valera/v5PETSc/petsc/petsc/src/ksp/ksp/interface/itfunc.c</font></div><div><font face="monospace, monospace">At line 333 of file solvelinearmgPETSc.f90</font></div><div><font face="monospace, monospace">Fortran runtime error: Array bound mismatch for dimension 1 of array 'sol' (213120/106560)</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="arial, helvetica, sans-serif">This code works for -n 1 cores, but it gives this error when using more than one core.</font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">What am i missing?</font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">Regards, </font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">Manuel.</font></div><div style="font-family:arial,helvetica,sans-serif"><br></div></div></div>