More details for the errors:<div><br><div><div>[0]PETSC ERROR: PetscGatherMessageLengths() line 133 in src/sys/utils/mpimesg.c</div><div>[0]PETSC ERROR: VecScatterCreate_PtoP() line 2188 in src/vec/vec/utils/vpscat.c</div>
<div>[0]PETSC ERROR: VecScatterCreate() line 1431 in src/vec/vec/utils/vscat.c</div><div>[0]PETSC ERROR: SpmcsSFCreateVecScatter() line 96 in SpmcsSFComm.cpp</div><div>[0]PETSC ERROR: moveDataBetweenRootsAndLeaves() line 133 in SpmcsSFComm.cpp</div>
<div>[0]PETSC ERROR: SpmcsSFCreateNormalizedEmbeddedSF() line 359 in SpmcsSFComm.cpp</div><div>[0]PETSC ERROR: SpmcsSFDistributeSection() line 343 in SpmcsSection.cpp</div><div>[0]PETSC ERROR: SpmcsMeshDistribute() line 444 in distributeMesh.cpp</div>
<div>[0]PETSC ERROR: DMmeshInitialize() line 32 in mgInitialize.cpp</div><div>[0]PETSC ERROR: main() line 64 in linearElasticity3d.cpp</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 0</div><div><br></div>
<div>=====================================================================================</div><div>=   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES</div><div>=   EXIT CODE: 256</div><div>=   CLEANING UP REMAINING PROCESSES</div>
<div>=   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES</div><div>=====================================================================================</div><div>[proxy:0:1@node1778] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div>
<div>[proxy:0:1@node1778] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:1@node1778] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:2@node1777] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:2@node1777] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:2@node1777] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:3@node1773] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:3@node1773] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:3@node1773] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:4@node1770] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:4@node1770] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:4@node1770] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:6@node1760] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:6@node1760] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:6@node1760] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:7@node1758] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:7@node1758] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:7@node1758] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:8@node1738] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:8@node1738] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:8@node1738] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:9@node1736] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:9@node1736] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:9@node1736] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:10@node1668] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:10@node1668] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:10@node1668] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:11@node1667] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:11@node1667] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:11@node1667] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:12@node1658] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:12@node1658] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:12@node1658] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:13@node1656] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:13@node1656] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:13@node1656] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:14@node1637] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:14@node1637] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:14@node1637] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:15@node1636] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:15@node1636] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:15@node1636] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:16@node1611] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:16@node1611] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:16@node1611] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:17@node1380] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:17@node1380] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:17@node1380] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:18@node1379] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:18@node1379] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:18@node1379] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:19@node1378] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:19@node1378] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:19@node1378] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:20@node1377] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:20@node1377] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:20@node1377] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:21@node1376] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:21@node1376] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:21@node1376] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:22@node1375] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:22@node1375] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:22@node1375] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:23@node1374] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:23@node1374] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:23@node1374] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:24@node1373] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:24@node1373] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:24@node1373] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:25@node1372] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:25@node1372] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:25@node1372] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:26@node1371] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:26@node1371] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:26@node1371] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:27@node1370] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:27@node1370] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:27@node1370] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:28@node1369] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:28@node1369] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:28@node1369] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:29@node1368] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:29@node1368] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:29@node1368] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[proxy:0:30@node1367] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>[proxy:0:30@node1367] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div>
<div>[proxy:0:30@node1367] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div><div>[proxy:0:31@node1366] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:906): assert (!closed) failed</div><div>
[proxy:0:31@node1366] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div>[proxy:0:31@node1366] main (./pm/pmiserv/pmip.c:214): demux engine error waiting for event</div>
<div>[mpiexec@node1780] HYDT_bscu_wait_for_completion (./tools/bootstrap/utils/bscu_wait.c:70): one of the processes terminated badly; aborting</div><div>[mpiexec@node1780] HYDT_bsci_wait_for_completion (./tools/bootstrap/src/bsci_wait.c:23): launcher returned error waiting for completion</div>
<div>[mpiexec@node1780] HYD_pmci_wait_for_completion (./pm/pmiserv/pmiserv_pmci.c:199): launcher returned error waiting for completion</div><div>[mpiexec@node1780] main (./ui/mpich/mpiexec.c:385): process manager error waiting for completion</div>
</div><div><br></div><div>It seems nothing. <br><br><div class="gmail_quote">On Mon, Dec 3, 2012 at 11:41 AM, Matthew Knepley <span dir="ltr"><<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On Mon, Dec 3, 2012 at 12:38 PM, Fande Kong <<a href="mailto:fande.kong@colorado.edu">fande.kong@colorado.edu</a>> wrote:<br>

> Hi all,<br>
><br>
> Can anyone guess the possible reason of the following errors:<br>
><br>
><br>
> [0]PETSC ERROR: PetscGatherMessageLengths() line 133 in<br>
> src/sys/utils/mpimesg.c<br>
> [0]PETSC ERROR: VecScatterCreate_PtoP() line 2188 in<br>
> src/vec/vec/utils/vpscat.c<br>
> [0]PETSC ERROR: VecScatterCreate() line 1431 in src/vec/vec/utils/vscat.c<br>
<br>
</div>Partial error messages are generally not helpful.<br>
<br>
   Matt<br>
<div class="im"><br>
> I have been working for several days to figure out the reason, but now I<br>
> still get nothing.  I use Petsc-3.3-p3 based on the mvapich2-1.6. I tried to<br>
> use vecscatter to distribute the mesh. When the mesh was small, everything<br>
> was ok. But when the mesh became larger about 14,000,000 elements, I got the<br>
> above errors.<br>
><br>
> --<br>
> Fande Kong<br>
> Department of Computer Science<br>
> University of Colorado at Boulder<br>
><br>
><br>
<br>
<br>
<br>
</div>--<br>
What most experimenters take for granted before they begin their<br>
experiments is infinitely more interesting than any results to which<br>
their experiments lead.<br>
-- Norbert Wiener<br>
<br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div style="line-height:21px;font-family:Verdana;font-size:14px;background-color:rgb(255,255,255)">Fande Kong</div><div style="line-height:21px;font-family:Verdana;font-size:14px;background-color:rgb(255,255,255)">
ShenZhen Institutes of Advanced Technology</div><div style="line-height:21px;font-family:Verdana;font-size:14px;background-color:rgb(255,255,255)">Chinese Academy of Sciences</div><br>
</div></div>