<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">I am facing the following issue: Please help</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small">[haxxanasghar@gpuserver2 ~]$ <b>mpiexec -n 16 -f machinefile -env LD_PRELOAD=/home/haxxanasghar/darshan/darshan-runtime/lib/libdarshan.so ./MADbench2 640 80 4 8 8 4 4</b><br><br>MADbench 2.0 IO-mode<br>no_pe = 16  no_pix = 640  no_bin = 80  no_gang = 4  sblocksize = 8  fblocksize = 8  r_mod = 4  w_mod = 4<br>IOMETHOD = POSIX  IOMODE = SYNC  FILETYPE = UNIQUE  REMAP = CUSTOM<br><br>Fatal error in PMPI_Comm_split: A process has failed, error stack:<br>PMPI_Comm_split(474)......: MPI_Comm_split(MPI_COMM_WORLD, color=0, key=2, new_comm=0x6073e0) failed<br>PMPI_Comm_split(456)......:<br>MPIR_Comm_split_impl(143).:<br>MPIR_Allgather_impl(807)..:<br>MPIR_Allgather(766).......:<br>MPIR_Allgather_intra(181).:<br>dequeue_and_set_error(888): Communication error with rank 3<br>MPIR_Allgather_intra(181).:<br>dequeue_and_set_error(888): Communication error with rank 6<br>Fatal error in PMPI_Comm_split: A process has failed, error stack:<br>PMPI_Comm_split(474)......: MPI_Comm_split(MPI_COMM_WORLD, color=3, key=1, new_comm=0x6073e0) failed<br>PMPI_Comm_split(456)......:<br>MPIR_Comm_split_impl(143).:<br>MPIR_Allgather_impl(807)..:<br>MPIR_Allgather(766).......:<br>MPIR_Allgather_intra(181).:<br>dequeue_and_set_error(888): Communication error with rank 12<br>MPIR_Allgather_intra(181).:<br>dequeue_and_set_error(888): Communication error with rank 15<br>MPIR_Allgather_intra(181).:<br>dequeue_and_set_error(888): Communication error with rank 9<br><br>===================================================================================<br>=   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES<br>=   EXIT CODE: 1<br>=   CLEANING UP REMAINING PROCESSES<br>=   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES<br>===================================================================================<br>[mpiexec@gpuserver2] HYDU_sock_read (./utils/sock/sock.c:243): read error (Bad file descriptor)<br>[mpiexec@gpuserver2] control_cb (./pm/pmiserv/pmiserv_cb.c:201): unable to read command from proxy<br>[mpiexec@gpuserver2] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status<br>[mpiexec@gpuserver2] HYD_pmci_wait_for_completion (./pm/pmiserv/pmiserv_pmci.c:197): error waiting for event<br>[mpiexec@gpuserver2] main (./ui/mpich/mpiexec.c:331): process manager error waiting for completion<br>[haxxanasghar@gpuserver2 ~]$<br></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="font-size:small;font-family:arial,helvetica,sans-serif"></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>