I argue it does matter as I've seen runs on 32k cores where a huge amount of time is spent in those global reductions. I can provide an implementation which uses a sub comm (PCSemiRedundant) if someone thinks doing reductions on less cores is beneficial.<div>
<br></div><div>I'd like to hear from other users running mg like algs with large core counts where they have run into this same issue.</div><div><br></div><div>Cheers</div><div>  Dave</div><div><br></div><div><br><br>
On Thursday, 21 November 2013, Matthew Knepley  wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">
On Thu, Nov 21, 2013 at 3:43 PM, Dave May <span dir="ltr"><<a href="javascript:_e({}, 'cvml', 'dave.mayhem23@gmail.com');" target="_blank">dave.mayhem23@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Is using the "big communicator" really the right way to go? What happens when I call VecNorm() when the local size on most ranks =0.. the global reduction still has to be performed and all ranks in the original communicator associated with the fine get participate.<div>


<br></div><div>I thought the primary advantage/reason to use less ranks with small distributed systems was to avoid seeing the network latency when there is little computational work. I don't see how using the big communicator avoids this.</div>

</blockquote><div><br></div><div>Its not just this. You do not want to get to the point where you have 1 or < 1 point per process, so</div><div>you rebalance to put a reasonable number of unknowns per process and leave others empty. You</div>

<div>could create a subcomm with only the nonzero procs to use in the solve. Not sure if this is worth it.</div><div><br></div><div>   Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div><div>Am I missing something?</div><div><br></div><div>Cheers, </div><div>  Dave<br><br>On Thursday, 21 November 2013, Jed Brown  wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


John Mousel <<a>john.mousel@gmail.com</a>> writes:<br>
<br>
> Thanks Jed. How does this represent itself in the KSPView output?<br>
<br>
I'm afraid it's not there, though you can extract the ownership ranges<br>
>From code.<br>
</blockquote></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>

-- Norbert Wiener
</div></div>
</blockquote></div>