Hi Jed,<br><br>Could you cover it a bit more details why it will get deadlock unless the number of elements is *exactly* the same on every process? Thanks.<br><br>Regards,<br>Wen<br><br>Message: 5<br>
Date: Fri, 20 Jan 2012 11:36:17 -0600<br>
From: Jed Brown &lt;<a href="mailto:jedbrown@mcs.anl.gov">jedbrown@mcs.anl.gov</a>&gt;<br>
Subject: Re: [petsc-users] generate entries on &#39;wrong&#39; process<br>
To: PETSc users list &lt;<a href="mailto:petsc-users@mcs.anl.gov">petsc-users@mcs.anl.gov</a>&gt;<br>
Message-ID:<br>
        &lt;<a href="mailto:CAM9tzSnQvEDOSTrHbbMZVOyOg2%2ByPA2zeYM-ouk1HGr09tE7hA@mail.gmail.com">CAM9tzSnQvEDOSTrHbbMZVOyOg2+yPA2zeYM-ouk1HGr09tE7hA@mail.gmail.com</a>&gt;<br>
Content-Type: text/plain; charset=&quot;utf-8&quot;<br>
<br>
On Fri, Jan 20, 2012 at 11:31, Wen Jiang &lt;<a href="mailto:jiangwen84@gmail.com">jiangwen84@gmail.com</a>&gt; wrote:<br>
<br>
&gt; The serial job is running without any problems and never stalls. Actually<br>
&gt; the parallel jobs also running successfully on distributed-memory desktop<br>
&gt; or on single node of cluster. It will get stuck if it is running on more<br>
&gt; than one compute node(now it is running on two nodes). Both the serial job<br>
&gt; and parallel job (running on distributed or cluster) I mentioned before<br>
&gt; have the same size(dofs). But If I ran a smaller job on cluster with two<br>
&gt; nodes, it might not get stuck and work fine.<br>
&gt;<br>
&gt; As you said before, I add MAT_ASSEMBLY_FLUSH after every element stiffness<br>
&gt; matrix is inserted.<br>
&gt;<br>
<br>
This will deadlock unless the number of elements is *exactly* the same on<br>
every process.<br>
<br>
<br>
&gt; I got the output like below, and it gets stuck too.<br>
&gt;<br><br><br>