On Wed, Jan 4, 2012 at 11:14 AM, Ravi Kannan <span dir="ltr"><<a href="mailto:rxk@cfdrc.com">rxk@cfdrc.com</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word"><div><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Hi Mark, Matt,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">We recently downloaded the petsc development version, to test the gamg package.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">This works in serial : we tried for small cases. The parallel case (even with 2 partitions) just hangs. As of now, we have not set any parameters. So I guess that the default parameters are being used.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Do we need to explicitly set the block size to MatSetBlockSize(mat,1) for a PARALLEL run? Our solver solves U,V,W and P separately. <u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Any input on this would be great.</span></p>
</div></div></blockquote><div><br></div><div>Can you try running the ex56 in parallel?</div><div><br></div><div>   Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word"><div><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Thanks,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Ravi. <u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<div><div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0in 0in 0in"><p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> <a href="mailto:petsc-dev-bounces@mcs.anl.gov" target="_blank">petsc-dev-bounces@mcs.anl.gov</a> [mailto:<a href="mailto:petsc-dev-bounces@mcs.anl.gov" target="_blank">petsc-dev-bounces@mcs.anl.gov</a>] <b>On Behalf Of </b>Mark F. Adams<br>
<b>Sent:</b> Thursday, December 15, 2011 1:18 PM</span></p><div class="im"><br><b>To:</b> For users of the development version of PETSc<br></div><b>Subject:</b> Re: [petsc-dev] boomerAmg scalability<u></u><u></u><p></p></div>
</div><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal">On Dec 15, 2011, at 1:56 PM, Matthew Knepley wrote:<u></u><u></u></p></div><div class="im"><p class="MsoNormal">
<br><br><u></u><u></u></p><p class="MsoNormal">On Thu, Dec 15, 2011 at 10:23 AM, Ravi Kannan <<a href="mailto:rxk@cfdrc.com" target="_blank">rxk@cfdrc.com</a>> wrote:<u></u><u></u></p></div><div><div class="im"><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div><div><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Dear All,</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">This is Ravi Kannan from CFD Research Corporation. Recently, we are experimenting with the BoomerAMG preconditioner for some “stiff” CFD problems. In that regard, all the other standard solver-preconditioner combinations failed for the current CFD problem. The boomer is the only one which is able to provide with “converged” solutions.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">We noticed that the scalability of this boomer preconditioner is really poor. For instance, even with a cell size of 2 million, we cannot scale to even 16 partitions (in contrast, the other solver-preconditioner combinations like the BI-CGS/BJacobi gave good enough scalability).</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Are we missing something? Do we need to use a more latest version of boomer?</span><u></u><u></u></p>
</div></div></blockquote><div><p class="MsoNormal"><u></u> <u></u></p></div></div><div><p class="MsoNormal">Have you tried -pc_type gamg in petsc-dev?<u></u><u></u></p></div></div><div><p class="MsoNormal"><u></u> <u></u></p>
</div><div><p class="MsoNormal">For gamg you also want to use MPIAIJ matrices and set the block size MatSetBlockSize(mat,3), for a 3D velocity field, for instance.  You can also try '-pc_gamg_type pa' or '-pc_gamg_type sa'.  "pa", for plain aggregation might be better for CFD problems.<u></u><u></u></p>
</div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Mark<u></u><u></u></p></div><p class="MsoNormal"><br><br><u></u><u></u></p><div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">
  Matt<u></u><u></u></p></div><div><p class="MsoNormal"> <span><span style="font-size:14.5pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span></span><u></u><u></u></p></div><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div><div><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Thanks,</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:14.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Ravi. </span><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p></div></div></blockquote></div><div class="im"><p class="MsoNormal"><br clear="all"><u></u><u></u></p><div><p class="MsoNormal"><u></u> <u></u></p></div><p class="MsoNormal">-- <br>
What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener<u></u><u></u></p></div></div><p class="MsoNormal">
<u></u> <u></u></p></div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener<br>