I also did this on my software and it shows terrific performance in serial. My problem may come from the default distribution of the matrix in PETSc : N rows on proc 0, N rows on proc 1, .... How did you distribute the matrix in your program?

<br><br>Nicolas<br><br><div><span class="gmail_quote">2008/1/16, Sanjay Govindjee &lt;<a href="mailto:sanjay@ce.berkeley.edu">sanjay@ce.berkeley.edu</a>&gt;:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

I have not tried this with any of the examples in the distribution&nbsp;&nbsp;only with my own program. The steps are relatively straightforward but you must know them already since you have it working in serial.&nbsp;&nbsp;Nonetheless here is the order of call I have:

<br><br>call MatCreateMPIBAIJ(...&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ! must be blocked<br>call MatAssemblyBegin (...&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;! Assemble the matrix<br>call MatAssemblyEnd&nbsp;&nbsp; (...<br><br>call VecAssemblyBegin (...&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;!Assemble the RHS

<br>call VecAssemblyEnd&nbsp;&nbsp; (...<br><br>call KSPCreate&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;(...<br>call KSPSetOperators&nbsp;&nbsp;(...<br>call KSPGetPC&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (...<br>call PCSetCoordinates(...&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;! I&#39;m not fully certain<br>but your problem may have to be defined over R^3 for this to work well

<br>call KSPSetFromOptions(...<br><br>call KSPSolve&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (...<br><br><br>Nicolas Tardieu wrote:<br>&gt; Hi Sanjay,<br>&gt;<br>&gt; Have you used it on simple examples of the PETSc distribution?<br>&gt;<br>&gt; Nicolas<br>

&gt; &gt; 2008/1/16, Sanjay Govindjee &lt;<a href="mailto:sanjay@ce.berkeley.edu">sanjay@ce.berkeley.edu</a> &gt; &lt;mailto:<a href="mailto:sanjay@ce.berkeley.edu">sanjay@ce.berkeley.edu</a>&gt;&gt;: &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; We have used it extensively with good success in the past.

&gt;&nbsp;&nbsp;&nbsp;&nbsp; -sanjay &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; Nicolas Tardieu wrote: &gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; Hi everyone, &gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; I have been using Prometheus for scalar and vector problems with &gt;&nbsp;&nbsp;&nbsp;&nbsp; great &gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; success on sequential computers.

&gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; But when trying to use it in parallel, Prometheus crashes. &gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; Then I tried it on some PETSc tests &gt;&nbsp;&nbsp;&nbsp;&nbsp; (src/ksp/ksp/examples/tests/ex3.c &gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; for instance) on parallel and they also crash...

<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; Does anyone have experienced Prometheus in parallel?<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt;<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; Thanks,<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt;<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt; Nicolas<br>&gt;&nbsp;&nbsp;&nbsp;&nbsp; &gt;<br>&gt;<br>&gt;<br><br></blockquote></div><br>