I compile it with openmpi and it runs on 5 cores. And thats all the error message from PETSC. the compelete output looks like this:<br><br>[3]PETSC ERROR: MatHYPRE_IJMatrixCreate() line 76 in src/dm/da/utils/mhyp.c<br>[3]PETSC ERROR: PCSetUp_HYPRE() line 112 in src/ksp/pc/impls/hypre/hypre.c<br>
[3]PETSC ERROR: PCSetUp() line 795 in src/ksp/pc/interface/precon.c<br>[3]PETSC ERROR: KSPSetUp() line 237 in src/ksp/ksp/interface/itfunc.c<br>[3]PETSC ERROR: KSPSolve() line 353 in src/ksp/ksp/interface/itfunc.c<br>[3]PETSC ERROR: UStep() line 511 in PFMAT-FD.cpp<br>
[4]PETSC ERROR: MatHYPRE_IJMatrixCreate() line 76 in src/dm/da/utils/mhyp.c<br>[4]PETSC ERROR: PCSetUp_HYPRE() line 112 in src/ksp/pc/impls/hypre/hypre.c<br>[4]PETSC ERROR: PCSetUp() line 795 in src/ksp/pc/interface/precon.c<br>
[4]PETSC ERROR: KSPSetUp() line 237 in src/ksp/ksp/interface/itfunc.c<br>[3]PETSC ERROR: main() line 95 in PFMAT-main.cpp<br>[4]PETSC ERROR: KSPSolve() line 353 in src/ksp/ksp/interface/itfunc.c<br>[4]PETSC ERROR: UStep() line 511 in PFMAT-FD.cpp<br>
[4]PETSC ERROR: main() line 95 in PFMAT-main.cpp<br>--------------------------------------------------------------------------<br>MPI_ABORT was invoked on rank 3 in communicator MPI_COMM_WORLD <br>with errorcode 1.<br><br>
NOTE: invoking MPI_ABORT causes Open MPI to kill all MPI processes.<br>You may or may not see output from other processes, depending on<br>exactly when Open MPI kills them.<br>--------------------------------------------------------------------------<br>
--------------------------------------------------------------------------<br>mpirun has exited due to process rank 3 with PID 3845 on<br>node <a href="http://me-1203svr3.lsu.edu">me-1203svr3.lsu.edu</a> exiting without calling &quot;finalize&quot;. This may<br>
have caused other processes in the application to be<br>terminated by signals sent by mpirun (as reported here).<br><br>Best,<br>Ata<br><br><div class="gmail_quote">On Tue, Feb 1, 2011 at 2:35 PM, Barry Smith <span dir="ltr">&lt;<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;"><br>
  Right preconditioner shouldn&#39;t matter to the preconditioner at all. What is the complete error message. Does it run on one process?<br>
<font color="#888888"><br>
   Barry<br>
</font><div><div></div><div class="h5"><br>
On Feb 1, 2011, at 2:32 PM, Ataollah Mesgarnejad wrote:<br>
<br>
&gt; Barry,<br>
&gt;<br>
&gt; I did as you said and now I receive these errors once I try to run the program:<br>
&gt;<br>
&gt; [3]PETSC ERROR: MatHYPRE_IJMatrixCreate() line 76 in src/dm/da/utils/mhyp.c<br>
&gt; [3]PETSC ERROR: PCSetUp_HYPRE() line 112 in src/ksp/pc/impls/hypre/hypre.c<br>
&gt; [3]PETSC ERROR: PCSetUp() line 795 in src/ksp/pc/interface/precon.c<br>
&gt; [3]PETSC ERROR: KSPSetUp() line 237 in src/ksp/ksp/interface/itfunc.c<br>
&gt; [3]PETSC ERROR: KSPSolve() line 353 in src/ksp/ksp/interface/itfunc.c<br>
&gt; [3]PETSC ERROR: UStep() line 511 in PFMAT-FD.cpp<br>
&gt; [4]PETSC ERROR: MatHYPRE_IJMatrixCreate() line 76 in src/dm/da/utils/mhyp.c<br>
&gt; [4]PETSC ERROR: PCSetUp_HYPRE() line 112 in src/ksp/pc/impls/hypre/hypre.c<br>
&gt; [4]PETSC ERROR: PCSetUp() line 795 in src/ksp/pc/interface/precon.c<br>
&gt; [4]PETSC ERROR: KSPSetUp() line 237 in src/ksp/ksp/interface/itfunc.c<br>
&gt; [3]PETSC ERROR: main() line 95 in PFMAT-main.cpp<br>
&gt; [4]PETSC ERROR: KSPSolve() line 353 in src/ksp/ksp/interface/itfunc.c<br>
&gt; [4]PETSC ERROR: UStep() line 511 in PFMAT-FD.cpp<br>
&gt; [4]PETSC ERROR: main() line 95 in PFMAT-main.cpp<br>
&gt;<br>
&gt; Does right preconditiong work with HYPRE?<br>
&gt; Best,<br>
&gt; Ata<br>
&gt;<br>
&gt; On Tue, Feb 1, 2011 at 2:21 PM, Barry Smith &lt;<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>&gt; wrote:<br>
&gt;<br>
&gt;   The simplest thing is to simply run with -ksp_monitor_true_residual and see how the convergence is going in the true residual norm also.<br>
&gt;<br>
&gt;   You can also switch to right preconditioning with gmres and then the residual used by gmres is the true residual norm.  Use -ksp_preconditioner_side right -ksp_norm_type unpreconditioned<br>
&gt;<br>
&gt;   Barry<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Feb 1, 2011, at 2:14 PM, Ataollah Mesgarnejad wrote:<br>
&gt;<br>
&gt; &gt; Dear all,<br>
&gt; &gt;<br>
&gt; &gt; I&#39;m using Ksp gmres with boomeramg preconditioning and I suspect that even though it converges in preconditioned norm it doesn&#39;t converge in true norm, but as I understand KSPSetNormType gmres does not support true residual norm? Is that correct and If it is, is there any other way to monitor the true norm? Do I need to Introduce my own convergence test?<br>

&gt; &gt;<br>
&gt; &gt; Best,<br>
&gt; &gt; A. Mesgarnejad<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; A. Mesgarnejad<br>
&gt; PhD Student, Research Assistant<br>
&gt; Mechanical Engineering Department<br>
&gt; Louisiana State University<br>
&gt; 2203 Patrick F. Taylor Hall<br>
&gt; Baton Rouge, La 70803<br>
<br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>A. Mesgarnejad<br>PhD Student, Research Assistant<br>Mechanical Engineering Department<br>Louisiana State University<br>2203 Patrick F. Taylor Hall<br>Baton Rouge, La 70803<br>