<div dir="ltr"><div dir="ltr"><div><br></div></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jul 23, 2020 at 11:35 PM Satish Balay via petsc-dev <<a href="mailto:petsc-dev@mcs.anl.gov">petsc-dev@mcs.anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Thu, 23 Jul 2020, Jeff Hammond wrote:<br>
<br>
> Open-MPI refuses to let users over subscribe without an extra flag to<br>
> mpirun.<br>
<br>
Yes - and when using this flag - it lets the run through - but there is still performance degradation in oversubscribe mode.<br>
<br>
> I think Intel MPI has an option for blocking poll that supports<br>
> oversubscription “nicely”.<br>
<br>
What option is this? Is it compile time option or something for mpiexec?<br></blockquote><div>I only found configure time options,</div>  --enable-nemesis-dbg-nolocal, alias for --enable-dbg-nolocal<div>  --enable-dbg-nolocal    enables debugging mode where shared-memory communication is disabled </div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Satish<br>
<br>
> MPICH might have a “no local” option that<br>
> disables shared memory, in which case nemesis over libfabric with the<br>
> sockets or TCP provider _might_ do the right thing. But you should ask<br>
> MPICH people for details.<br>
> <br>
> Jeff<br>
> <br>
> On Thu, Jul 23, 2020 at 12:40 PM Jed Brown <<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>> wrote:<br>
> <br>
> > I think we should default to ch3:nemesis when --download-mpich, and only<br>
> > do ch3:sock when requested (which we would do in CI).<br>
> ><br>
> > Satish Balay via petsc-dev <<a href="mailto:petsc-dev@mcs.anl.gov" target="_blank">petsc-dev@mcs.anl.gov</a>> writes:<br>
> ><br>
> > > Primarily because ch3:sock performance does not degrade in oversubscribe<br>
> > mode - which is developer friendly - i.e on your laptop.<br>
> > ><br>
> > > And folks doing optimized runs should use a properly tuned MPI for their<br>
> > setup anyway.<br>
> > ><br>
> > > In this case --download-mpich-device=ch3:nemesis is likely appropriate<br>
> > if using --download-mpich [and not using a separate/optimized MPI]<br>
> > ><br>
> > > Having defaults that satisfy all use cases is not practical.<br>
> > ><br>
> > > Satish<br>
> > ><br>
> > > On Wed, 22 Jul 2020, Matthew Knepley wrote:<br>
> > ><br>
> > >> We default to ch3:sock. Scott MacLachlan just had a long thread on the<br>
> > >> Firedrake list where it ended up that reconfiguring using ch3:nemesis<br>
> > had a<br>
> > >> 2x performance boost on his 16-core proc, and noticeable effect on the 4<br>
> > >> core speedup.<br>
> > >><br>
> > >> Why do we default to sock?<br>
> > >><br>
> > >>   Thanks,<br>
> > >><br>
> > >>      Matt<br>
> > >><br>
> > >><br>
> ><br>
> <br>
</blockquote></div></div>