<div dir="ltr">I get growth with Q2 elements also. I've never seen anyone report scaling of high order elements with generic AMG.<div><br></div><div>First, discretizations are very important for AMG solver. All optimal solvers really. I've never looked at serendipity elements. It might be a good idea to try Q2 as well.</div><div><br></div><div>SNES ex56 is 3D elasticity on a cube with tensor elements. Below are parameters that I have been using. I see some evidence that more smoothing steps (-mg_levels_ksp_max_it N) helps "scaling" but not necessarily solve time.</div><div><br></div><div>An example of what I see, running ex56 with -cells 8,12,16  -max_conv_its 5 and the below params I get these iteration counts: 19, 20, 31, 31, 38.</div><div><br></div><div>My guess is that you need higher order interpolation for higher order elements and when you add a new level you get an increase in condition number (ie, it is not an optimal MG method). But, the original smoothed aggregation paper did have high order discretizations their theory said it was still optimal, as I recall.</div><div><br></div><div>Mark</div><div><br></div><div>-log_view<br>-max_conv_its 5<br>-petscspace_degree 2<br>-snes_max_it 2<br>-ksp_max_it 100<br>-ksp_type cg<br>-ksp_rtol 1.e-11<br>-ksp_atol 1.e-71<br>-ksp_norm_type unpreconditioned<br>-snes_rtol 1.e-10<br>-pc_type gamg<br>-pc_gamg_type agg<br>-pc_gamg_agg_nsmooths 1<br>-pc_gamg_coarse_eq_limit 1000<br>-pc_gamg_process_eq_limit 200<br>-pc_gamg_reuse_interpolation true<br>-ksp_converged_reason<br>-snes_monitor_short<br>-ksp_monitor_short<br>-snes_converged_reason<br>-use_mat_nearnullspace true<br>-mg_levels_ksp_max_it 4<br>-mg_levels_ksp_type chebyshev<br>-mg_levels_esteig_ksp_type cg<br>-gamg_est_ksp_type cg<br>-gamg_est_ksp_max_it 10<br>-mg_levels_esteig_ksp_max_it 10<br>-mg_levels_ksp_chebyshev_esteig 0,0.05,0,1.05<br>-mg_levels_pc_type jacobi<br>-petscpartitioner_type simple<br>-mat_block_size 3<br>-matptap_via scalable<br>-run_type 1<br>-pc_gamg_repartition false<br>-pc_gamg_threshold 0.0<br>-pc_gamg_threshold_scale .25<br>-pc_gamg_square_graph 1<br>-check_pointer_intensity 0<br>-snes_type ksponly<br>-ex56_dm_view<br>-options_left<br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Jun 26, 2019 at 8:21 AM TARDIEU Nicolas via petsc-users <<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr" style="font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255);font-family:Calibri,Arial,Helvetica,sans-serif">
<p>Dear PETSc team,</p>
<p><br>
</p>
<p>I have run a simple weak scalability test based on canonical 3D elasticity problem : a cube, meshed with 8 nodes hexaedra, clamped on one of its face and submited to a pressure load on the opposite face.
</p>
<p>I am using the FGMRES ksp with GAMG as preconditioner. I have set the rigid body modes using MatNullSpaceCreateRigidBody and its works like a charm. The solver exhibit a perfect scalability until 800 cores (I haven't tested with more cores). The ksp always
 converges in 11 or 12 iterations. Let me emphasize that I use GAMG default options.<br>
</p>
<p><br>
</p>
<p>Nevertheless, if I switch to a quadratic mesh with 20 nodes serendipity hexaedra, the weak scalability deteriorates. For instance the number of iteration for the ksp increases from 20 iterations for the smallest problem to 30 for the biggest.
</p>
<p>Here is my question : I wonder what is the right tuning for GAMG to recover the same weak scalability as in the linear case? I apologize if this is a stupid question...<br>
</p>
<div id="gmail-m_7848195805983654129gmail-m_9006959453887681403Signature">
<div name="divtagdefaultwrapper">
<div style="margin:0px"><font style="font-family:Calibri,Arial,Helvetica,sans-serif" size="4"><span style="font-size:11pt;font-family:Calibri,Arial,Helvetica,sans-serif"><br style="font-family:Calibri,Arial,Helvetica,sans-serif">
<span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span></span></font></div>
<span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span><font style="font-family:Calibri,Arial,Helvetica,sans-serif" size="4"></font><span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span>
<div style="margin:0px"><font style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:14pt"><span style="font-family:Calibri,Arial,Helvetica,sans-serif"><font style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt"><font style="font-family:Calibri,Arial,Helvetica,sans-serif"><span style="font-family:Calibri,Arial,Helvetica,sans-serif"><span style="font-family:Calibri,Arial,Helvetica,sans-serif">I
 look forward to reading you</span></span></font></font><span style="font-family:Calibri,Arial,Helvetica,sans-serif"><span style="font-family:Calibri,Arial,Helvetica,sans-serif">,
</span></span></span></font></div>
<span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span><font style="font-family:Calibri,Arial,Helvetica,sans-serif" size="4"></font><span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span>
<div style="margin:0px"><font style="font-family:Calibri,Arial,Helvetica,sans-serif" size="2"><span style="font-size:11pt;font-family:Calibri,Arial,Helvetica,sans-serif"><font style="font-family:Calibri,Arial,Helvetica,sans-serif" size="3"><span style="font-family:Calibri,Arial,Helvetica,sans-serif"><span style="font-family:Calibri,Arial,Helvetica,sans-serif">Nicolas</span></span></font><br style="font-family:Calibri,Arial,Helvetica,sans-serif">
<span style="font-family:Calibri,Arial,Helvetica,sans-serif"></span></span></font><font size="2" face="Calibri,sans-serif"><span style="font-size:11pt"><font size="1" face="Arial,sans-serif" color="#0062e1"><span style="font-size:8pt" lang="en-US"><br>
</span></font></span></font></div>
</div>
</div>
<p></p>

<p><br>
Ce message et toutes les pièces jointes (ci-après le 'Message') sont établis à l'intention exclusive des destinataires et les informations qui y figurent sont strictement confidentielles. Toute utilisation de ce Message non conforme à sa destination, toute diffusion ou toute publication totale ou partielle, est interdite sauf autorisation expresse.</p>

<p>Si vous n'êtes pas le destinataire de ce Message, il vous est interdit de le copier, de le faire suivre, de le divulguer ou d'en utiliser tout ou partie. Si vous avez reçu ce Message par erreur, merci de le supprimer de votre système, ainsi que toutes ses copies, et de n'en garder aucune trace sur quelque support que ce soit. Nous vous remercions également d'en avertir immédiatement l'expéditeur par retour du message.</p>

<p>Il est impossible de garantir que les communications par messagerie électronique arrivent en temps utile, sont sécurisées ou dénuées de toute erreur ou virus.<br>
____________________________________________________</p>

<p>This message and any attachments (the 'Message') are intended solely for the addressees. The information contained in this Message is confidential. Any use of information contained in this Message not in accord with its purpose, any dissemination or disclosure, either whole or partial, is prohibited except formal approval.</p>

<p>If you are not the addressee, you may not copy, forward, disclose or use any part of it. If you have received this message in error, please delete it and all copies from your system and notify the sender immediately by return message.</p>

<p>E-mail communication cannot be guaranteed to be timely secure, error or virus-free.</p></div>

</blockquote></div>