<div dir="ltr"><div><div><div>There are some things to think about here:<br></div> - Telescope can have some overheads wrt to duplicating operators, which maybe you don't want for GAMG<br></div> - The current way we use it with MG is to have a separate PCMG for each communicator (e.g. for a 5-level method with one agglomeration step, 3 levels of GMG on 128 ranks, telescope on the coarse grid, 3 levels of GMG on 8 ranks). I'm not sure if this is also what you'd want for GAMG. <br></div><div>- Logging is problematic when working with subcommunicators<br></div><div><br></div>On a related note, a feature which came up in a session today at PASC17 leads to a proposal which might be helpful is an additional mode for PetscSubcomm (which is used by Telescope). This would accept a size K  (usually corresponding to a node or rack or some other topological unit of a cluster) and do "blockwise interlaced" agglomeration, splitting the communicator into chunks of size K and choosing an equally-space subset of these chunks to be in the sub-communicator. <br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 27, 2017 at 2:35 PM, Matthew Knepley <span dir="ltr"><<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class="">On Tue, Jun 27, 2017 at 6:36 AM, Mark Adams <span dir="ltr"><<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">In talking with Garth, this will not work.<div><br></div><div>I/we am now thinking that we should replace the MG object with Telescope. Telescope seems to be designed to be a superset of MG. Telescope does the processor reduction, and GAMG does as well, so we would have to reconcile this.  Does this sound like a good idea? Am I missing anything important?</div></div></blockquote><div><br></div></span><div>I don't think "replace" is the right word. Telescope only does process reduction. It does not do control flow for solvers,</div><div>or restriction/prolongation. You can see telescope interacting with MG here</div><div><br></div><div>  <a href="https://arxiv.org/abs/1604.07163" target="_blank">https://arxiv.org/abs/1604.<wbr>07163</a></div><div><br></div><div>I think more of this should be "default", in that the options are turned on if you are running GMG on a large number of procs.</div><div><br></div><div>I also think GAMG should reuse the telescope code for doing reduction, but I am not sure how hard this is. Mark?</div><div><br></div><div>  Thanks,</div><div><br></div><div>    Matt</div><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Mark</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 27, 2017 at 4:48 AM, Mark Adams <span dir="ltr"><<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Parallel coarse grid solvers are a bit broken at large scale where you don't want to use all processors on the coarse grid. The ideal thing might be to create a sub communicator, but it's not clear how to integrate this in (eg, check if the sub communicator exists before calling the coarse grid solver and convert if necessary). A bit messy. It would be nice if a parallel direct solver would not redistribute the matrix, but then it would be asking too much for it to reorder also, so we could have a crappy ordering. So maybe the first option would be best long term.<div><br></div><div>I see we have MUMPS and<span style="white-space:pre-wrap"> </span>PaStiX. Do either of these not redistribute if asked?</div></div>
</blockquote></div><br></div>
</blockquote></span></div><span class="HOEnZb"><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div class="m_-2320178693347415981gmail_signature"><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.caam.rice.edu/~mk51/" target="_blank">http://www.caam.rice.edu/~<wbr>mk51/</a><br></div></div></div>
</font></span></div></div>
</blockquote></div><br></div>