<div dir="ltr"><div dir="ltr">On Tue, Nov 9, 2021 at 6:52 AM Nicolas Barnafi <<a href="mailto:nabw91@gmail.com">nabw91@gmail.com</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
  
    
  
  <div>
    Thanks for the help Matthew.<br>
    <blockquote type="cite">
      <div dir="ltr">
        <div class="gmail_quote">
          <div><br>
          </div>
          <div>The next step would be to verify that the operators you
            get in those slots are correct in parallel. I normally just
            print out the matrix</div>
          <div>for a small problem. This is the only way I know to debug
            assembly.</div>
          <div><br>
          </div>
          <div>To check the solver, you set it to an exact solver and
            see that it takes 1 iterate. That means using LU as the
            subsolver</div>
          <div>for the first block, using the full Schur complement, and
            solving the Schur system with a residual tolerance of
            something like 1e-10.</div>
          <div><br>
          </div>
        </div>
      </div>
    </blockquote>
    <br>
    There is certainly something wrong in the nested matrix, as this is
    the output in serial (LU + full Schur LU):<br></div></blockquote><div><br></div><div>Yes, this is why I recommend going to just 2 or 4 cells, so that you can see explicitly what is wrong with the matrix.</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>
      0 SNES Function norm 3.240309155660e+03 <br>
        0 KSP Residual norm 3.240309155660e+03 <br>
        1 KSP Residual norm 3.219893365194e-08 <br>
      1 SNES Function norm 3.999872813081e+03 <br>
        0 KSP Residual norm 1.214145680994e+04 <br>
        1 KSP Residual norm 2.742817643080e-04 <br>
      2 SNES Function norm 3.663148395735e+01 <br>
        0 KSP Residual norm 3.980103473350e+03 <br>
        1 KSP Residual norm 1.814754406828e-05 <br>
      3 SNES Function norm 2.136252100504e+01 <br>
        0 KSP Residual norm 6.970609974245e+01 <br>
        1 KSP Residual norm 1.982821753925e-05 <br>
      4 SNES Function norm 1.059694009734e-02 <br>
        0 KSP Residual norm 2.136131725219e+01 <br>
        1 KSP Residual norm 4.545878835451e-06 <br>
        2 KSP Residual norm 8.841427426699e-08 <br>
        3 KSP Residual norm 3.305898584949e-09 <br>
      5 SNES Function norm 3.729120062850e-03 <br>
        0 KSP Residual norm 3.846880232871e-03 <br>
        1 KSP Residual norm 1.740268533385e-06 <br>
        2 KSP Residual norm 3.013108797112e-08 <br>
        3 KSP Residual norm 1.105602265959e-09 <br>
      6 SNES Function norm 1.117697448247e-09<br>
    <br>
    whereas in parallel it is this (two processes):<br>
    <br>
      0 SNES Function norm 3.240309155660e+03 <br>
        0 KSP Residual norm 3.240309155660e+03 <br>
        1 KSP Residual norm 2.158162432432e-01 <br>
        2 KSP Residual norm 2.156121452805e-01 <br>
        3 KSP Residual norm 2.148639482595e-01 <br>
        4 KSP Residual norm 2.148248193325e-01 <br>
        5 KSP Residual norm 1.305140166188e-03 <br>
      Linear solve converged due to CONVERGED_RTOL iterations 5<br>
      1 SNES Function norm 4.774611203034e+42<br>
    <br>
    <br>
    Best, <br>
    NB<br>
  </div>

</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>