<div dir="ltr"><div dir="ltr">BTW, nice bug report ...</div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
So in the first step it coarsens from 150e6 to 5.4e6 DOFs instead of to <br>
2.6e6 DOFs. </blockquote><div><br></div><div>Yes, this is the critical place to see what is different and going wrong.</div><div><br></div><div>My 3D tests were not that different and I see you lowered the threshold.</div><div>Note, you can set the threshold to zero, but your test is running so much differently than mine there is something else going on.</div><div>Note, the new, bad, coarsening rate of 30:1 is what we tend to shoot for in 3D.</div><div><br></div><div>So it is not clear what the problem is.  Some questions:</div><div><br></div><div>* do you have a picture of this mesh to show me?</div><div>* what do you mean by Q1-Q2 elements?</div><div><br></div><div>It would be nice to see if the new and old codes are similar without aggressive coarsening.</div><div>This was the intended change of the major change in this time frame as you noticed.</div><div>If these jobs are easy to run, could you check that the old and new versions are similar with "-pc_gamg_square_graph  0 ",  ( and you only need one time step).</div><div>All you need to do is check that the first coarse grid has about the same number of equations (large).</div><div><br></div><div>BTW, I am starting to think I should add the old method back as an option. I did not think this change would cause large differences.</div><div><br></div><div>Thanks,</div><div>Mark</div><div><br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Note that we are providing the rigid body near nullspace, <br>
hence the bs=3 to bs=6.<br>
We have tried different values for the gamg_threshold but it doesn't <br>
really seem to significantly alter the coarsening amount in that first step.<br>
<br>
Do you have any suggestions for further things we should try/look at? <br>
Any feedback would be much appreciated<br>
<br>
Best wishes<br>
Stephan Kramer<br>
<br>
Full logs including log_view timings available from <br>
<a href="https://github.com/stephankramer/petsc-scaling/" rel="noreferrer" target="_blank">https://github.com/stephankramer/petsc-scaling/</a><br>
<br>
In particular:<br>
<br>
<a href="https://github.com/stephankramer/petsc-scaling/blob/main/before/Level_5/output_2.dat" rel="noreferrer" target="_blank">https://github.com/stephankramer/petsc-scaling/blob/main/before/Level_5/output_2.dat</a><br>
<a href="https://github.com/stephankramer/petsc-scaling/blob/main/after/Level_5/output_2.dat" rel="noreferrer" target="_blank">https://github.com/stephankramer/petsc-scaling/blob/main/after/Level_5/output_2.dat</a><br>
<a href="https://github.com/stephankramer/petsc-scaling/blob/main/before/Level_6/output_2.dat" rel="noreferrer" target="_blank">https://github.com/stephankramer/petsc-scaling/blob/main/before/Level_6/output_2.dat</a><br>
<a href="https://github.com/stephankramer/petsc-scaling/blob/main/after/Level_6/output_2.dat" rel="noreferrer" target="_blank">https://github.com/stephankramer/petsc-scaling/blob/main/after/Level_6/output_2.dat</a><br>
<a href="https://github.com/stephankramer/petsc-scaling/blob/main/before/Level_7/output_2.dat" rel="noreferrer" target="_blank">https://github.com/stephankramer/petsc-scaling/blob/main/before/Level_7/output_2.dat</a><br>
<a href="https://github.com/stephankramer/petsc-scaling/blob/main/after/Level_7/output_2.dat" rel="noreferrer" target="_blank">https://github.com/stephankramer/petsc-scaling/blob/main/after/Level_7/output_2.dat</a> <br>
<br>
</blockquote></div></div>