<div dir="ltr"><div dir="ltr"><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Mar 21, 2022 at 1:51 PM Marco Cisternino <<a href="mailto:marco.cisternino@optimad.it">marco.cisternino@optimad.it</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-GB" style="overflow-wrap: break-word;">
<div class="gmail-m_5114128768753160789WordSection1">
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"><u></u> <u></u></span></p>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(225,225,225);padding:3pt 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>>
<br>
<b>Sent:</b> lunedì 21 marzo 2022 18:31<br>
<b>To:</b> Marco Cisternino <<a href="mailto:marco.cisternino@optimad.it" target="_blank">marco.cisternino@optimad.it</a>><br>
<b>Cc:</b> Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>>; <a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a><br>
<b>Subject:</b> Re: [petsc-users] Null space and preconditioners<u></u><u></u></span></p>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Mon, Mar 21, 2022 at 1:25 PM Marco Cisternino <<a href="mailto:marco.cisternino@optimad.it" target="_blank">marco.cisternino@optimad.it</a>> wrote:<u></u><u></u></p>
</div>
<div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Thank you, Matt.</span><u></u><u></u></p>
<ol start="1" type="1">
<li class="gmail-m_5114128768753160789gmail-m464936641958984018msolistparagraph">
<span style="font-family:"Mulish Light",serif">I already set the null space and test it in the toy code</span><u></u><u></u></li></ol>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal">If you set this and it is not working, something is wrong. This will remove null space components from each update in the Krylov space.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">This is done in an example where I check convergence to the exact solution: <a href="https://gitlab.com/petsc/petsc/-/blob/main/src/snes/tutorials/ex69.c" target="_blank">https://gitlab.com/petsc/petsc/-/blob/main/src/snes/tutorials/ex69.c</a><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Do I have to set a special null space when I use GAMG?</span></p></div></div></div></div></div></blockquote><div><br></div><div>No, GAMG does not look at the NULL space. (GAMG can use a _near_ null space, but that is not needed here_.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-GB" style="overflow-wrap: break-word;"><div class="gmail-m_5114128768753160789WordSection1"><div><div><div><p class="MsoNormal"><span style="font-family:"Mulish Light",serif"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12pt"><span style="font-family:"Mulish Light",serif">The toy code works for PCNONE and PCILU, giving a zero mean solution the first PC and an almost zero mean solution the second one.<br>
GAMG floats away, quoting Mark.<br></span></p></div></div></div></div></div></blockquote><div><br></div><div>Humm, if it's drifting off then it sounds like the null space is not getting cleaned by KSP. If you use the svd coarse solver then GAMG should work.'</div><div>You seem to be using KSPFGMRES. Use -ksp_type cg <br></div><div>Maybe try '-info :ksp'. THis will have the KSP print diagnostics. Maybe it will say something about the null space.</div><div><br></div>I don't know what you mean by "I get 16 inf elements". If you have a 16 cell problem the parallel coarse grid solver should work .. Oh well press on. svd is better anyway.</div><div class="gmail_quote"><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-GB" style="overflow-wrap: break-word;"><div class="gmail-m_5114128768753160789WordSection1"><div><div><div><p class="MsoNormal" style="margin-bottom:12pt"><span style="font-family:"Mulish Light",serif">
Looking at what I do:<br>
MatNullSpaceCreate(PETSC_COMM_WORLD, PETSC_TRUE, 0, nullptr, &nullspace);<br>
MatSetNullSpace(matrix, nullspace);<br>
it is more or less what you do at lines 3231-3233 of your reference. Am I wrong?<br>
What about lines 3220-3223? What is the difference between nullSpace and nullSpacePres?</span><u></u><u></u></p>
</div>
<ol start="1" type="1">
<li class="gmail-m_5114128768753160789gmail-m464936641958984018msolistparagraph">
<u></u> <u></u></li><li class="gmail-m_5114128768753160789gmail-m464936641958984018msolistparagraph">
<span style="font-family:"Mulish Light",serif">I tried your suggestion: the norm and the mean of the solution using -mg_coarse_pc_type svd with PCGAMG is much closer to the one of PCNONE (the norm is the same up to the 6^th digit, the mean is about
 10e-4 with “svd” PCGAMG and 10e-17 with PCNONE). I’m going to try with the real code and see what happens on larger meshes</span><u></u><u></u></li></ol>
</div>
</div>
<div>
<p class="MsoNormal">This is not perfect since null space components can be introduced by the rest of the preconditioner, but when I use range-space smoothers and<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">local interpolation it tends to be much better for me. Maybe it is just my problems.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Is there a way to set -mg_coarse_pc_type svd with the API into the code?</span></p></div></div></div></blockquote><div><br></div><div>There is not an easy way that I know of. You can insert the option in the database with:</div><div><br></div>ierr = PetscOptionsSetValue(NULL,"-mg_coarse_pc_type","svd");CHKERRQ(ierr);<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="EN-GB" style="overflow-wrap: break-word;"><div class="gmail-m_5114128768753160789WordSection1"><div><p class="MsoNormal"><span style="font-family:"Mulish Light",serif"><u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Thanks,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Marco<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal">  Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">     Matt<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Thank you all.
</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="IT" style="font-family:"Mulish Medium"">Marco Cisternino</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="IT"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"> </span><u></u><u></u></p>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(225,225,225);padding:3pt 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>>
<br>
<b>Sent:</b> lunedì 21 marzo 2022 18:16<br>
<b>To:</b> Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>><br>
<b>Cc:</b> Marco Cisternino <<a href="mailto:marco.cisternino@optimad.it" target="_blank">marco.cisternino@optimad.it</a>>;
<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a><br>
<b>Subject:</b> Re: [petsc-users] Null space and preconditioners</span><u></u><u></u></p>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div>
<p class="MsoNormal">On Mon, Mar 21, 2022 at 12:06 PM Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<u></u><u></u></p>
</div>
<div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<p class="MsoNormal">The solution for Neumann problems can "float away" if the constant is not controlled in some way because floating point errors can introduce it even if your RHS is exactly orthogonal
 to it.<u></u><u></u></p>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">You should use a special coarse grid solver for GAMG but it seems to be working for you.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I have lost track of the simply way to have the KSP solver clean the constant out, which is what you want.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">can someone help Marco?<u></u><u></u></p>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I have not had time to look at the code. However, here are two ways we use to fix the pure Neumann solution:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">1) Attach a null space to the operator using <a href="https://petsc.org/main/docs/manualpages/Mat/MatSetNullSpace.html" target="_blank">https://petsc.org/main/docs/manualpages/Mat/MatSetNullSpace.html</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">2) Use a coarse grid solver that does least-squares<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">  -mg_coarse_pc_type svd<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">  Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">     Matt<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<div>
<p class="MsoNormal">Mark<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</div>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div>
<p class="MsoNormal">On Mon, Mar 21, 2022 at 8:18 AM Marco Cisternino <<a href="mailto:marco.cisternino@optimad.it" target="_blank">marco.cisternino@optimad.it</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Good morning,</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">I’m observing an unexpected (to me) behaviour of my code.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">I tried to reduce the problem in a toy code here attached.<br>
The toy code archive contains a small main, a matrix and a rhs.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">The toy code solves the linear system and check the norms and the mean of the solution.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">The problem into the matrix and the rhs is the finite volume discretization of the pressure equation of an incompressible NS solver.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">It has been cooked as tiny as possible (16 cells!).</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">It is important to say that it is an elliptic problem with homogeneous Neumann boundary conditions only, for this reason the toy code
 sets a null space containing the constant.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">The unexpected (to me) behaviour is evident by launching the code using different preconditioners, using -pc-type <pctype><br>
I tested using PCNONE (“none”), PCGAMG (“gamg”) and PCILU (“ilu”). The default solver is KSPFGMRES.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Using the three PC, I get 3 different solutions. It seems to me that they differ in the mean value, but GAMG is impressive.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">PCNONE gives me the zero mean solution I expected. What about the others?</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Asking for residuals monitor, the ratio ||r||/||b|| shows convergence for PCNONE and PCILU (~10^-16), but it stalls for PCGAMG (~10^-4).</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">I cannot see why. Am I doing anything wrong or incorrectly thinking about the expected behaviour?</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Generalizing to larger mesh the behaviour is similar.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif">Thank you for any help.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Light",serif"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Mulish Medium"">Marco Cisternino</span><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</div>
</blockquote>
</div>
</blockquote>
</div>
<p class="MsoNormal"><br clear="all">
<u></u><u></u></p>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<p class="MsoNormal">--
<u></u><u></u></p>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
<p class="MsoNormal"><br clear="all">
<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<p class="MsoNormal">-- <u></u><u></u></p>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>

</blockquote></div></div>