<div><div dir="auto">Open-MPI refuses to let users over subscribe without an extra flag to mpirun. I think Intel MPI has an option for blocking poll that supports oversubscription “nicely”. MPICH might have a “no local” option that disables shared memory, in which case nemesis over libfabric with the sockets or TCP provider _might_ do the right thing. But you should ask MPICH people for details. </div><div dir="auto"><br></div><div dir="auto">Jeff</div></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jul 23, 2020 at 12:40 PM Jed Brown <<a href="mailto:jed@jedbrown.org">jed@jedbrown.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)">I think we should default to ch3:nemesis when --download-mpich, and only do ch3:sock when requested (which we would do in CI).<br>
<br>
Satish Balay via petsc-dev <<a href="mailto:petsc-dev@mcs.anl.gov" target="_blank">petsc-dev@mcs.anl.gov</a>> writes:<br>
<br>
> Primarily because ch3:sock performance does not degrade in oversubscribe mode - which is developer friendly - i.e on your laptop.<br>
><br>
> And folks doing optimized runs should use a properly tuned MPI for their setup anyway.<br>
><br>
> In this case --download-mpich-device=ch3:nemesis is likely appropriate if using --download-mpich [and not using a separate/optimized MPI]<br>
><br>
> Having defaults that satisfy all use cases is not practical.<br>
><br>
> Satish<br>
><br>
> On Wed, 22 Jul 2020, Matthew Knepley wrote:<br>
><br>
>> We default to ch3:sock. Scott MacLachlan just had a long thread on the<br>
>> Firedrake list where it ended up that reconfiguring using ch3:nemesis had a<br>
>> 2x performance boost on his 16-core proc, and noticeable effect on the 4<br>
>> core speedup.<br>
>> <br>
>> Why do we default to sock?<br>
>> <br>
>>   Thanks,<br>
>> <br>
>>      Matt<br>
>> <br>
>> <br>
</blockquote></div></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">Jeff Hammond<br><a href="mailto:jeff.science@gmail.com" target="_blank">jeff.science@gmail.com</a><br><a href="http://jeffhammond.github.io/" target="_blank">http://jeffhammond.github.io/</a></div>