<div dir="ltr"><div dir="ltr">Hi Mark,<div><br></div><div>Just to be clear, I do not think it is related to GAMG or PtAP. It is a communication issue:</div><div><br></div><div>Reran the same code, and I just got :</div><div><br></div><div><div>[252]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------</div><div>[252]PETSC ERROR: Petsc has generated inconsistent data</div><div>[252]PETSC ERROR: Received vector entry 4469094877509280860 out of local range [255426072,256718616)]</div><div>[252]PETSC ERROR: See <a href="https://www.mcs.anl.gov/petsc/documentation/faq.html">https://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.</div><div>[252]PETSC ERROR: Petsc Release Version 3.13.3, unknown </div><div>[252]PETSC ERROR: ../../griffin-opt on a arch-moose named r5i4n13 by kongf Mon Jul 20 12:16:47 2020</div><div>[252]PETSC ERROR: Configure options --download-hypre=1 --with-debugging=no --with-shared-libraries=1 --download-fblaslapack=1 --download-metis=1 --download-ptscotch=1 --download-parmetis=1 --download-superlu_dist=1 --download-mumps=1 --download-scalapack=1 --download-slepc=1 --with-mpi=1 --with-cxx-dialect=C++11 --with-fortran-bindings=0 --with-sowing=0 --with-64-bit-indices --download-mumps=0</div><div>[252]PETSC ERROR: #1 VecAssemblyEnd_MPI_BTS() line 324 in /home/kongf/workhome/sawtooth/moosers/petsc/src/vec/vec/impls/mpi/pbvec.c</div><div>[252]PETSC ERROR: #2 VecAssemblyEnd() line 171 in /home/kongf/workhome/sawtooth/moosers/petsc/src/vec/vec/interface/vector.c</div><div>[cli_252]: aborting job:</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 252</div></div><div><br></div><div><br></div><div>Thanks,</div><div><br></div><div>Fande,</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jul 20, 2020 at 12:24 PM Mark Adams <<a href="mailto:mfadams@lbl.gov">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">OK, so this is happening in <span style="color:rgb(14,16,26)">MatProductNumeric_PtAP. This must be in constructing the coarse grid.</span><div><span style="color:rgb(14,16,26)"><br></span></div><div><span style="color:rgb(14,16,26)">GAMG sort of wants to coarse at a rate of 30:1 but that needs to be verified. With that your index is at about the size of the first coarse grid. I'm trying to figure out if the index is valid. But the size of the max-index is </span><span style="color:rgb(14,16,26)">740521. This is about what I would guess is the size of the second coarse grid.</span></div><div><span style="color:rgb(14,16,26)"><br></span></div><div><span style="color:rgb(14,16,26)">So it kinda looks like it has a "fine" grid index in the "coarse" grid (2nd - 3rd coarse grids).</span></div><div><span style="color:rgb(14,16,26)"><br></span></div><div><font color="#0e101a">But Chris is not using GAMG.</font></div><div><font color="#0e101a"><br></font></div><div><font color="#0e101a">Chris: It sounds like you just have one matrix that you give to MUMPS. You seem to be creating a matrix in the middle of your run. Are you doing dynamic adaptivity?</font></div><div><font color="#0e101a"><br></font></div><div><font color="#0e101a">I think we generate unique tags for each operation but it sounds like maybe a message is getting mixed up in some way.</font></div><div><br></div><div><span style="color:rgb(14,16,26)"><br></span></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jul 20, 2020 at 12:35 PM Fande Kong <<a href="mailto:fdkong.jd@gmail.com" target="_blank">fdkong.jd@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Hi Mark,</div><div><br></div><div>Thanks for your reply.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jul 20, 2020 at 7:13 AM Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">Fande, <div>do you know if your <span style="color:rgb(14,16,26)">45226154 was out of range in the real  matrix?</span></div></div></blockquote><div><br></div><div>I do not know since it was in building the AMG hierarchy.  The size of the original system is 1,428,284,880</div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><span style="color:rgb(14,16,26)">What size integers do you use?</span></div></div></blockquote><div><br></div><div>We are using 64-bit via "--with-64-bit-indices" </div><div><br></div><div><br></div><div>I am trying to catch the cause of this issue by running more simulations with different configurations.</div><div><br></div><div>Thanks,</div><div><br></div><div>Fande,</div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><span style="color:rgb(14,16,26)">Thanks,</span></div><div><span style="color:rgb(14,16,26)">Mark</span></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jul 20, 2020 at 1:17 AM Fande Kong <<a href="mailto:fdkong.jd@gmail.com" target="_blank">fdkong.jd@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">Trace could look like this:<div><br></div><div><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: Argument out of range</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: key 45226154 is greater than largest key allowed 740521</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: See </span><a href="https://www.mcs.anl.gov/petsc/documentation/faq.html" style="background-color:transparent;margin-top:0pt;margin-bottom:0pt;color:rgb(74,110,224)" target="_blank"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">https://www.mcs.anl.gov/petsc/documentation/faq.html</span></a><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt"> for trouble shooting.</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: Petsc Release Version 3.13.3, unknown </span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: ../../griffin-opt on a arch-moose named r6i5n18 by wangy2 Sun Jul 19 17:14:28 2020</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: Configure options --download-hypre=1 --with-debugging=no --with-shared-libraries=1 --download-fblaslapack=1 --download-metis=1 --download-ptscotch=1 --download-parmetis=1 --download-superlu_dist=1 --download-mumps=1 --download-scalapack=1 --download-slepc=1 --with-mpi=1 --with-cxx-dialect=C++11 --with-fortran-bindings=0 --with-sowing=0 --with-64-bit-indices --download-mumps=0</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #1 PetscTableFind() line 132 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/include/petscctable.h</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #2 MatSetUpMultiply_MPIAIJ() line 33 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/mat/impls/aij/mpi/mmaij.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #3 MatAssemblyEnd_MPIAIJ() line 876 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/mat/impls/aij/mpi/mpiaij.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #4 MatAssemblyEnd() line 5347 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/mat/interface/matrix.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #5 MatPtAPNumeric_MPIAIJ_MPIXAIJ_allatonce() line 901 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/mat/impls/aij/mpi/mpiptap.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #6 MatPtAPNumeric_MPIAIJ_MPIMAIJ_allatonce() line 3180 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/mat/impls/maij/maij.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #7 MatProductNumeric_PtAP() line 704 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/mat/interface/matproduct.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #8 MatProductNumeric() line 759 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/mat/interface/matproduct.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #9 MatPtAP() line 9199 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/mat/interface/matrix.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #10 MatGalerkin() line 10236 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/mat/interface/matrix.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #11 PCSetUp_MG() line 745 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/ksp/pc/impls/mg/mg.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #12 PCSetUp_HMG() line 220 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/ksp/pc/impls/hmg/hmg.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #13 PCSetUp() line 898 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/ksp/pc/interface/precon.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #14 KSPSetUp() line 376 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/ksp/ksp/interface/itfunc.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #15 KSPSolve_Private() line 633 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/ksp/ksp/interface/itfunc.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #16 KSPSolve() line 853 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/ksp/ksp/interface/itfunc.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #17 SNESSolve_NEWTONLS() line 225 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/snes/impls/ls/ls.c</span></p><p style="color:rgb(14,16,26);background-color:transparent;margin-top:0pt;margin-bottom:0pt"><span style="background-color:transparent;margin-top:0pt;margin-bottom:0pt">[640]PETSC ERROR: #18 SNESSolve() line 4519 in /home/wangy2/trunk/sawtooth/griffin/moose/petsc/src/snes/interface/snes.c</span></p></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jul 19, 2020 at 11:13 PM Fande Kong <<a href="mailto:fdkong.jd@gmail.com" target="_blank">fdkong.jd@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div>I am not entirely sure what is happening, but we encountered similar issues recently.  It was not reproducible. It might occur at different stages, and errors could be weird other than "ctable stuff." Our code was Valgrind clean since every PR in moose needs to go through rigorous Valgrind checks before it reaches the devel branch.  The errors happened when we used mvapich.</div><div><br></div><div>We changed to use HPE-MPT (a vendor stalled MPI), then everything was smooth.  May you try a different MPI? It is better to try a system carried one. </div><div><br></div><div>We did not get the bottom of this problem yet, but we at least know this is kind of MPI-related. </div><div><br></div><div>Thanks,</div><div><br></div><div>Fande,</div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jul 19, 2020 at 3:28 PM Chris Hewson <<a href="mailto:chris@resfrac.com" target="_blank">chris@resfrac.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>I am having a bug that is occurring in PETSC with the return string:</div><div><br></div><div>[7]PETSC ERROR: PetscTableFind() line 132 in /home/chewson/petsc-3.13.2/include/petscctable.h key 7556 is greater than largest key allowed 5693</div><div><br></div><div>This is using petsc-3.13.2, compiled and running using mpich with -O3 and debugging turned off tuned to the haswell architecture and occurring either before or during a KSPBCGS solve/setup or during a MUMPS factorization solve (I haven't been able to replicate this issue with the same set of instructions etc.).</div><div><br></div><div>This is a terrible way to ask a question, I know, and not very helpful from your side, but this is what I have from a user's run and can't reproduce on my end (either with the optimization compilation or with debugging turned on). This happens when the code has run for quite some time and is happening somewhat rarely.</div><div><br></div><div>More than likely I am using a static variable (code is written in c++) that I'm not updating when the matrix size is changing or something silly like that, but any help or guidance on this would be appreciated. </div><div><br><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><b>Chris Hewson</b><div>Senior Reservoir Simulation Engineer</div><div>ResFrac</div><div>+1.587.575.9792</div></div></div></div></div></div></div></div></div></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div></div></div></div>
</blockquote></div>
</blockquote></div>