<div dir="ltr">Manav,<div> I downloaded your petsc_mat.tgz but could not reproduce the problem, on both Linux and Mac. I used the petsc commit id df0e4300 you mentioned.</div><div> On Linux, I have openmpi-4.0.2 + gcc-8.3.0, and petsc is configured  --with-debugging --with-cc=mpicc --with-cxx=mpicxx --with-fc=mpifort --COPTFLAGS="-g -O0" --FOPTFLAGS="-g -O0" --CXXOPTFLAGS="-g -O0" --PETSC_ARCH=linux-host-dbg</div><div> On Mac, I have mpich-3.3.1 + clang-11.0.0-apple, and petsc is configured --with-debugging=1 --with-cc=mpicc --with-cxx=mpicxx --with-fc=mpifort --with-ctable=0 COPTFLAGS="-O0 -g" CXXOPTFLAGS="-O0 -g" PETSC_ARCH=mac-clang-dbg</div><div><br></div><div>mpirun -n 8 ./test<br></div><div>rank: 1 : stdout.processor.1<br>rank: 4 : stdout.processor.4<br>rank: 0 : stdout.processor.0<br>rank: 5 : stdout.processor.5<br>rank: 6 : stdout.processor.6<br>rank: 7 : stdout.processor.7<br>rank: 3 : stdout.processor.3<br>rank: 2 : stdout.processor.2<br>rank: 1 : Beginning reading nnz...<br>rank: 4 : Beginning reading nnz...<br>rank: 0 : Beginning reading nnz...<br>rank: 5 : Beginning reading nnz...<br>rank: 7 : Beginning reading nnz...<br>rank: 2 : Beginning reading nnz...<br>rank: 3 : Beginning reading nnz...<br>rank: 6 : Beginning reading nnz...<br>rank: 5 : Finished reading nnz<br>rank: 5 : Beginning mat preallocation...<br>rank: 3 : Finished reading nnz<br>rank: 3 : Beginning mat preallocation...<br>rank: 4 : Finished reading nnz<br>rank: 4 : Beginning mat preallocation...<br>rank: 7 : Finished reading nnz<br>rank: 7 : Beginning mat preallocation...<br>rank: 1 : Finished reading nnz<br>rank: 1 : Beginning mat preallocation...<br>rank: 0 : Finished reading nnz<br>rank: 0 : Beginning mat preallocation...<br>rank: 2 : Finished reading nnz<br>rank: 2 : Beginning mat preallocation...<br>rank: 6 : Finished reading nnz<br>rank: 6 : Beginning mat preallocation...<br>rank: 5 : Finished preallocation<br>rank: 5 : Beginning reading and setting matrix values...<br>rank: 1 : Finished preallocation<br>rank: 1 : Beginning reading and setting matrix values...<br>rank: 7 : Finished preallocation<br>rank: 7 : Beginning reading and setting matrix values...<br>rank: 2 : Finished preallocation<br>rank: 2 : Beginning reading and setting matrix values...<br>rank: 4 : Finished preallocation<br>rank: 4 : Beginning reading and setting matrix values...<br>rank: 0 : Finished preallocation<br>rank: 0 : Beginning reading and setting matrix values...<br>rank: 3 : Finished preallocation<br>rank: 3 : Beginning reading and setting matrix values...<br>rank: 6 : Finished preallocation<br>rank: 6 : Beginning reading and setting matrix values...<br>rank: 1 : Finished reading and setting matrix values<br>rank: 1 : Beginning mat assembly...<br>rank: 5 : Finished reading and setting matrix values<br>rank: 5 : Beginning mat assembly...<br>rank: 4 : Finished reading and setting matrix values<br>rank: 4 : Beginning mat assembly...<br>rank: 2 : Finished reading and setting matrix values<br>rank: 2 : Beginning mat assembly...<br>rank: 3 : Finished reading and setting matrix values<br>rank: 3 : Beginning mat assembly...<br>rank: 7 : Finished reading and setting matrix values<br>rank: 7 : Beginning mat assembly...<br>rank: 6 : Finished reading and setting matrix values<br>rank: 6 : Beginning mat assembly...<br>rank: 0 : Finished reading and setting matrix values<br>rank: 0 : Beginning mat assembly...<br>rank: 1 : Finished mat assembly<br>rank: 3 : Finished mat assembly<br>rank: 7 : Finished mat assembly<br>rank: 0 : Finished mat assembly<br>rank: 5 : Finished mat assembly<br>rank: 2 : Finished mat assembly<br>rank: 4 : Finished mat assembly<br>rank: 6 : Finished mat assembly<br></div><div><br></div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">--Junchao Zhang</div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Aug 20, 2020 at 5:29 PM Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com">junchao.zhang@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I will have a look and report back to you. Thanks.<br clear="all"><div><div dir="ltr"><div dir="ltr">--Junchao Zhang</div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Aug 20, 2020 at 5:23 PM Manav Bhatia <<a href="mailto:bhatiamanav@gmail.com" target="_blank">bhatiamanav@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>I have created a standalone test that demonstrates the problem at my end. I have stored the indices, etc. <span style="color:rgb(0,0,0)"> from my problem </span>in a text file for each rank, which I use to initialize the matrix.<div>Please note that the test is specifically for 8 ranks. </div><div><br></div><div>The .tgz file is on my google drive: <a href="https://drive.google.com/file/d/1R-WjS36av3maXX3pUyiR3ndGAxteTVj-/view?usp=sharing" target="_blank">https://drive.google.com/file/d/1R-WjS36av3maXX3pUyiR3ndGAxteTVj-/view?usp=sharing</a> </div><div><br></div><div>This contains a README file with instructions on running. Please note that the work directory needs the index files. </div><div><br></div><div>Please let me know if I can provide any further information. </div><div><br></div><div>Thank you all for your help. </div><div><br></div><div>Regards,</div><div>Manav<br><div><br><blockquote type="cite"><div>On Aug 20, 2020, at 12:54 PM, Jed Brown <<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>> wrote:</div><br><div><span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline">Matthew Knepley <</span><a href="mailto:knepley@gmail.com" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px" target="_blank">knepley@gmail.com</a><span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline">> writes:</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><blockquote type="cite" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none">On Thu, Aug 20, 2020 at 11:09 AM Manav Bhatia <<a href="mailto:bhatiamanav@gmail.com" target="_blank">bhatiamanav@gmail.com</a>> wrote:<br><br><blockquote type="cite"><br><br>On Aug 20, 2020, at 8:31 AM, Stefano Zampini <<a href="mailto:stefano.zampini@gmail.com" target="_blank">stefano.zampini@gmail.com</a>><br>wrote:<br><br>Can you add a MPI_Barrier before<br><br>ierr = MatAssemblyBegin(aij->A,mode);CHKERRQ(ierr);<br><br><br>With a MPI_Barrier before this function call:<br>—  three of the processes have already hit this barrier,<br>—  the other 5 are inside MatStashScatterGetMesg_Private -><br>MatStashScatterGetMesg_BTS -> MPI_Waitsome(2 processes)/MPI_Waitall(3<br>processes)<br></blockquote></blockquote><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline">This is not itself evidence of inconsistent state.  You can use</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline"> -build_twosided allreduce</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline">to avoid the nonblocking sparse algorithm.</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><blockquote type="cite" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><br>Okay, you should run this with -matstash_legacy just to make sure it is not<br>a bug in your MPI implementation. But it looks like<br>there is inconsistency in the parallel state. This can happen because we<br>have a bug, or it could be that you called a collective<br>operation on a subset of the processes. Is there any way you could cut down<br>the example (say put all 1s in the matrix, etc) so<br>that you could give it to us to run?</blockquote></div></blockquote></div><br></div></div></blockquote></div>
</blockquote></div>