<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">To follow up on this, I have run some tests on a smaller test case (same model, coarser mesh). The options I tried are:</div><div class="gmail_quote"><br></div><div class="gmail_quote">8 MPI processes with:</div><div class="gmail_quote">"-ksp_type gmres -pc_type gamg"<br></div><div class="gmail_quote">"-ksp_type fgmres -pc_type gamg"<br></div><div class="gmail_quote">"-ksp_type cg -pc_type gamg"<br></div><div class="gmail_quote">"-ksp_type cg -pc_type gamg -ksp_norm_type natural"<br></div><div class="gmail_quote">"-ksp_type cg -pc_type gamg -ksp_norm_type natural -pc_mg_type full"<br></div><div class="gmail_quote"><br></div><div class="gmail_quote">4 MPI processes with:</div><div class="gmail_quote">"-ksp_type cg -pc_type gamg -ksp_norm_type natural -pc_mg_type full"<br></div><div class="gmail_quote">"-ksp_type cg -pc_type gamg"<br></div><div class="gmail_quote">"-ksp_type gmres -pc_type gamg"<br></div><div class="gmail_quote">"-ksp_type fgmres -pc_type gamg"<br></div><div class="gmail_quote"><br></div><div class="gmail_quote">Let me know if you'd like me to try any other cases.</div><div class="gmail_quote"><br></div><div class="gmail_quote">The "-ksp_monitor -ksp_view" output is attached. As you can see, all of the "4 MPI processes" cases worked well, and none of the "8 MPI processes" cases converged.</div><div class="gmail_quote"><br></div><div class="gmail_quote">Best regards,</div><div class="gmail_quote">David</div><div class="gmail_quote"><br></div><div class="gmail_quote"><br></div><div class="gmail_quote"><br></div><div class="gmail_quote"><br></div><div class="gmail_quote">On Fri, Nov 13, 2015 at 2:48 PM, Matthew Knepley <span dir="ltr"><<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Fri, Nov 13, 2015 at 12:28 PM, Jed Brown <span dir="ltr"><<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span class="">Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>> writes:<br>
> Something very strange is happening here. CG should converge monotonically,<br>
> but above it does not. What could be happening?<br>
<br></span>
Are you use -ksp_norm_type natural?  CG is not monotone in other norms.<br></blockquote><div><br></div><div>Yikes! I did not check that. Why do we have PRECONDITIONED as the default for CG?</div><div><br></div><div>   Matt</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
Also, if boundary conditions are enforced using a nonsymmetric<br>
formulation (for example), then you can get lack of monotonicity with CG<br>
that may not be catastrophic.<br>
</blockquote></div><span class=""><br><br clear="all"><div><br></div>-- <br><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div>
</span></div></div>
</blockquote></div><br></div></div>