<div dir="ltr"><div><div>Tried the newer version, the error still exists. The MPI I'm using is [MPICH2 3.2] The command I'm using is:<br><br>mpirun -f ./hosts -n 33 ./bb_dragonfly_sim --extramem=100000 --nkp=128  --sync=3 --batch=1 --gvt-interval=32  -- /home/cc/share/sim_configs/darshan_config.conf<br><br></div>Also, another long-existing error sometimes pops up, which I think might be related to the gvt:<br><br>node: 27: error: /home/cc/Project/NERSC/ROSS-master/core/gvt/mpi_allreduce.c:180: PE 27 GVT decreased 1.42151 -> 1.36322<br>node: 5: error: /home/cc/Project/NERSC/ROSS-master/core/gvt/mpi_allreduce.c:180: PE 5 GVT decreased 1.42151 -> 1.36322<br>node: 29: error: /home/cc/Project/NERSC/ROSS-master/core/gvt/mpi_allreduce.c:180: PE 29 GVT decreased 1.42151 -> 1.36322<br>node: 28: error: /home/cc/Project/NERSC/ROSS-master/core/gvt/mpi_allreduce.c:180: PE 28 GVT decreased 1.42151 -> 1.36322<br>node: 13: error: /home/cc/Project/NERSC/ROSS-master/core/gvt/mpi_allreduce.c:180: PE 13 GVT decreased 1.42151 -> 1.36322<br>.......<br><br></div>My current walk-around solution to the later issue is changing the "nkp" parameter.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Aug 9, 2018 at 12:49 PM, Caitlin Ross <span dir="ltr"><<a href="mailto:rossc3@rpi.edu" target="_blank">rossc3@rpi.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word">It’s saying that a PE received an event that has a time stamp less than the current GVT, which shouldn’t be possible. <div><br></div><div>But your line number for the error in network-mpi.c is off from what it is currently in the master branch of ROSS. There’s been some changes in the MPI layer of ROSS relatively recently (in May/June), so my first recommendation is to update your version of ROSS and see if you still get the error. If you do still get the error, could you also send some more details on the simulation run that causes this error?</div><div><br></div><div>Thanks,</div><div>Caitlin</div><div><br><div><blockquote type="cite"><div><div class="h5"><div>On Aug 9, 2018, at 2:20 PM, Jian Peng <<a href="mailto:jpeng10@hawk.iit.edu" target="_blank">jpeng10@hawk.iit.edu</a>> wrote:</div><br class="m_-7741574670078658731Apple-interchange-newline"></div></div><div><div><div class="h5"><div dir="ltr"><div>Hi All, <br></div><div><br></div><div>Just ran into an issue with error:<br><br> "error: network-mpi.c:388: 1:Received straggler from 7: 2938789.459012 3193751.109728 (0)" . Which is cause by failure of <br><div style="color:rgb(212,212,212);background-color:rgb(30,30,30);font-family:Menlo,Monaco,"Courier New",monospace;font-weight:normal;font-size:12px;line-height:18px;white-space:pre-wrap"><div><span style="color:rgb(197,134,192)">if</span><span style="color:rgb(212,212,212)">(e-></span><span style="color:rgb(156,220,254)">recv_ts</span><span style="color:rgb(212,212,212)"> </span><span style="color:rgb(212,212,212)"><</span><span style="color:rgb(212,212,212)"> me-></span><span style="color:rgb(156,220,254)">GVT</span><span style="color:rgb(212,212,212)">)</span></div></div>in<br><div style="color:rgb(212,212,212);background-color:rgb(30,30,30);font-family:Menlo,Monaco,"Courier New",monospace;font-weight:normal;font-size:12px;line-height:18px;white-space:pre-wrap"><div><span style="color:rgb(220,220,170)">recv_finish</span><span style="color:rgb(212,212,212)">(tw_pe </span><span style="color:rgb(212,212,212)">*</span><span style="color:rgb(212,212,212)">me, tw_event </span><span style="color:rgb(212,212,212)">*</span><span style="color:rgb(212,212,212)">e, </span><span style="color:rgb(86,156,214)">char</span><span style="color:rgb(212,212,212)"> </span><span style="color:rgb(212,212,212)">*</span><span style="color:rgb(212,212,212)"> buffer)</span></div></div><br></div><div>Any suggestion of fixing this issue? Thanks!<br><br></div><div><br></div></div></div></div><span class="">
______________________________<wbr>_________________<br>codes-ross-users mailing list<br><a href="mailto:codes-ross-users@lists.mcs.anl.gov" target="_blank">codes-ross-users@lists.mcs.<wbr>anl.gov</a><br><a href="https://lists.mcs.anl.gov/mailman/listinfo/codes-ross-users" target="_blank">https://lists.mcs.anl.gov/<wbr>mailman/listinfo/codes-ross-<wbr>users</a><br></span></div></blockquote></div><br></div></div></blockquote></div><br></div>