<div dir="ltr"><div dir="ltr">On Sun, May 5, 2019 at 6:22 PM Randall Mackie via petsc-users <<a href="mailto:petsc-users@mcs.anl.gov">petsc-users@mcs.anl.gov</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="word-wrap:break-word">In solving a nonlinear optimization problem, I was recently experimenting with fgmres using the following options:<div><br></div><div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">-nlcg_ksp_type fgmres \<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">-nlcg_pc_type ksp \<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">-nlcg_ksp_ksp_type bcgs \<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">-nlcg_ksp_pc_type jacobi \<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">-nlcg_ksp_rtol 1e-6 \<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">-nlcg_ksp_ksp_max_it 300 \<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">-nlcg_ksp_max_it 200 \<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">-nlcg_ksp_converged_reason \<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">-nlcg_ksp_monitor_true_residual \</div></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif"><br></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif">I sometimes randomly will get an error like the following:</div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif"><br></div><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif"><div style="margin:0in 0in 0.0001pt;font-size:11pt">Residual norms for nlcg_ solve.<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">  0 KSP unpreconditioned resid norm 3.371606868500e+04 true resid norm 3.371606868500e+04 ||r(i)||/||b|| 1.000000000000e+00<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">  1 KSP unpreconditioned resid norm 2.322590778002e+02 true resid norm 2.322590778002e+02 ||r(i)||/||b|| 6.888676137487e-03<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">  2 KSP unpreconditioned resid norm 8.262440884758e+01 true resid norm 8.262440884758e+01 ||r(i)||/||b|| 2.450594392232e-03<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">  3 KSP unpreconditioned resid norm 3.660428333809e+01 true resid norm 3.660428333809e+01 ||r(i)||/||b|| 1.085662853522e-03<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">  3 KSP unpreconditioned resid norm 0.000000000000e+00 true resid norm           -nan ||r(i)||/||b||           -nan<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">Linear nlcg_ solve did not converge due to DIVERGED_PC_FAILED iterations 3<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">               PC_FAILED due to SUBPC_ERROR <u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><u></u> <u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><u></u>This usually happens after a few nonlinear optimization iterations, meaning that it’s worked perfectly fine until this point.<u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">How can using jacobi pc all of a sudden cause a NaN, if it’s worked perfectly fine before?</div></div></div></blockquote><div><br></div><div>This is not Jacobi breaking down, this is BCGS I believe. In order to see this, I think you can just replace bcgs with gmres.</div><div><br></div><div>  Thanks,</div><div><br></div><div>    Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="word-wrap:break-word"><div style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif"><div style="margin:0in 0in 0.0001pt;font-size:11pt">Some other errors in the output log file are as follows, although I have no idea if they result from the above error or not:</div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><br></div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><div style="margin:0in 0in 0.0001pt;font-size:11pt">[13]PETSC ERROR: Object is in wrong state<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">[13]PETSC ERROR: Clearing DM of global vectors that has a global vector obtained with DMGetGlobalVector()<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">[13]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" style="color:rgb(149,79,114)" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">[13]PETSC ERROR: Petsc Release Version 3.11.1, Apr, 12, 2019<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><u></u> <u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><u></u> <u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">[27]PETSC ERROR: #1 DMClearGlobalVectors() line 196 in /state/std2/FEMI/PETSc/petsc-3.11.1/src/dm/interface/dmget.c<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">[27]PETSC ERROR: Configure options --with-clean=1 --with-scalar-type=complex --with-debugging=0 --with-fortran=1 --with-blaslapack-dir=/state/std2/intel_2018/m<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">kl --with-mkl_pardiso-dir=/state/std2/intel_2018/mkl --with-mkl_cpardiso-dir=/state/std2/intel_2018/mkl --download-mumps=../external/mumps_v5.1.2-p1.tar.gz --d<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">ownload-scalapack=../external/scalapack-2.0.2.tgz --with-cc=mpiicc --with-fc=mpiifort --with-cxx=mpiicc --FOPTFLAGS="-O3 -xHost" --COPTFLAGS="-O3 -xHost" --CXX<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">OPTFLAGS="-O3 -xHost"<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><u></u> <u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><u></u> <u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">#2 DMDestroy() line 752 in /state/std2/FEMI/PETSc/petsc-3.11.1/src/dm/interface/dm.c<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">[72]PETSC ERROR: #3 PetscObjectDereference() line 624 in /state/std2/FEMI/PETSc/petsc-3.11.1/src/sys/objects/inherit.c<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">[72]PETSC ERROR: #4 PetscObjectListDestroy() line 156 in /state/std2/FEMI/PETSc/petsc-3.11.1/src/sys/objects/olist.c<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">[72]PETSC ERROR: #5 PetscHeaderDestroy_Private() line 122 in /state/std2/FEMI/PETSc/petsc-3.11.1/src/sys/objects/inherit.c<u></u><u></u></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">[72]PETSC ERROR: #6 VecDestroy() line 412 in /state/std2/FEMI/PETSc/petsc-3.11.1/src/vec/vec/interface/vector.c</div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><br></div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><br></div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><br></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">This is a large run taking many hours to get to this problem. I will try to run in debug mode, but given that this seems to be randomly happening (this has happened maybe 30% of the time I have used the fgmres option), there is no guarantee that will show anything useful. Valgrind is obviously out of the question for a large run, and I have yet to reproduce this on a smaller run.</div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><br></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">Anyone have any ideas as to what’s causing this?</div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><br></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">Thanks in advance,</div><div style="margin:0in 0in 0.0001pt;font-size:11pt"><br></div><div style="margin:0in 0in 0.0001pt;font-size:11pt">Randy M.</div></div></div></div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>