<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

</head>

<body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">

<br class="">

<div><br class="">

<blockquote type="cite" class="">

<div class="">On Mar 1, 2019, at 11:00 AM, Sajid Ali <<a href="mailto:sajidsyed2021@u.northwestern.edu" class="">sajidsyed2021@u.northwestern.edu</a>> wrote:</div>

<br class="Apple-interchange-newline">

<div class="">

<div dir="ltr" class="">

<div class="">

<div class="">

<div class=""><br class="">

</div>

Hi Hong, <br class="">

<br class="">

</div>

So, the speedup was coming from increased DRAM bandwidth and not the usage of MCDRAM.</div>

</div>

</div>

</blockquote>

<div><br class="">

</div>

<div>Certainly the speedup was coming from the usage of MCDRAM (which has much higher bandwidth than DRAM). What I meant is your code is still using MCDRAM, but MCDRAM acts like L3 cache in cache mode.</div>

<div><br class="">

</div>

<div>Hong</div>

<br class="">

<blockquote type="cite" class="">

<div class="">

<div dir="ltr" class="">

<div class=""><br class="">

<br class="">

</div>

<div class="">There is moderate MPI imbalance, large amount of Back-End stalls and good vectorization.

<br class="">

</div>

<div class=""><br class="">

</div>

I'm attaching my submit script, PETSc log file and Intel APS summary (all as non-HTML text). I can give more detailed analysis via Intel Vtune if needed.

<br class="">

<br class="">

<div class="">

<div class="">

<div class=""><br class="">

</div>

<div class="">Thank You, <br class="">

</div>

<div class="">

<div dir="ltr" class="gmail_signature">

<div dir="ltr" class="">

<div style="font-size:12.8px" class="">Sajid Ali<br class="">

</div>

<div style="font-size:12.8px" class="">Applied Physics<br class="">

</div>

<div style="font-size:12.8px" class="">Northwestern University</div>

</div>

</div>

</div>

</div>

</div>

</div>

<span id="cid:f_jsqf78v10"><submit_script></span><span id="cid:f_jsqf94fz1"><intel_aps_report></span><span id="cid:f_jsqf985v2"><knl_petsc></span></div>

</blockquote>

</div>

<br class="">

</body>

</html>