<div dir="ltr">'-pc_gamg_verbose 2' will print out stuff where you can see the number of active processors.  We have not been super motivated to use subcoms because there are no norms taken on coarse grids, except in the eigen estimator for cheby, unless you use krylov in the solver, which is not usually useful. Jed: GAMG does reduce active processors by default.  I'm pretty sure.  I assume that if you are using an iterative solver on the coarse grid that you have a singular problem, and the AMG coarse grid space can represent it exactly, so you have a singular matrix one the coarse grid.<div>
Mark</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Nov 21, 2013 at 6:17 PM, Dave May <span dir="ltr"><<a href="mailto:dave.mayhem23@gmail.com" target="_blank">dave.mayhem23@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Exactly!<br></div>My tests were performed on Kraken (Cray XT5) and a Cray XE6 and I was using iterative solvers on the coarse grid.<br>
<br></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><br><div class="gmail_quote">
On 22 November 2013 00:10, Jed Brown <span dir="ltr"><<a href="mailto:jedbrown@mcs.anl.gov" target="_blank">jedbrown@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div>Dave May <<a href="mailto:dave.mayhem23@gmail.com" target="_blank">dave.mayhem23@gmail.com</a>> writes:<br>
<br>
> I argue it does matter as I've seen runs on 32k cores where a huge amount<br>
> of time is spent in those global reductions. I can provide an<br>
> implementation which uses a sub comm (PCSemiRedundant) if someone thinks<br>
> doing reductions on less cores is beneficial.<br>
<br>
</div>It doesn't matter much on Blue Gene, but is a big deal on older Crays.<br>
Aires seems to be in between.  The default GAMG configuration doesn't do<br>
any reductions in the coarse grid, so the issue is moot.  If an<br>
iterative coarse solver was used, I think we would be more motivated to<br>
put the coarse problem on a subcomm.<br>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>