<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Apr 5, 2017 at 10:26 PM, Jed Brown <span dir="ltr"><<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Matthew Knepley <<a href="mailto:knepley@gmail.com">knepley@gmail.com</a>> writes:<br>
<br>
> On Wed, Apr 5, 2017 at 12:23 PM, Justin Chang <<a href="mailto:jychang48@gmail.com">jychang48@gmail.com</a>> wrote:<br>
><br>
>> I simply ran these KNL simulations in flat mode with the following options:<br>
>><br>
>> srun -n 64 -c 4 --cpu_bind=cores numactl -p 1 ./ex48 ....<br>
>><br>
>> Basically I told it that MCDRAM usage in NUMA domain 1 is preferred. I<br>
>> followed the last example: <a href="http://www.nersc.gov/users/" rel="noreferrer" target="_blank">http://www.nersc.gov/users/</a><br>
>> computational-systems/cori/<wbr>configuration/knl-processor-<wbr>modes/<br>
>><br>
><br>
> Right. I think, from the prior discussion, that -m 1 causes the run to fail<br>
> if you spill out of MCDRAM. I think that is usually<br>
> what we want since it makes things easier to interpret and running MKL from<br>
> DRAM is like towing your McLaren with<br>
> your Toyota.<br>
<br>
</span>I'm not sure whether getting the Intel acronyms mixed up (KNL vs MKL)<br>
makes the quote above better or worse.<br>
</blockquote></div><br>Too cryptic. Are you saying that this cannot be what is happening? How would you explain</div><div class="gmail_extra">the drop off in performance?</div><div class="gmail_extra"><br></div><div class="gmail_extra">  Matt<br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div>
</div></div>