<div dir="ltr">And we found that the code runs fine on Haswell. A KNL compiler bug not a PETSc/hypre bug.<div>Mark</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 14, 2018 at 3:58 PM, Mark Adams <span dir="ltr"><<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class=""><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span><div><br></div></span><div>Your point about data decomposition is a good one. Even if you want to run with threads, you must decompose your data intelligently</div><div>to get good performance. Can't you do the MPI shared work and still pass it off as work necessary for threading anyway?</div><div><br></div></div></div></div></blockquote><div><br></div></span><div>We don't have any resources to change the code. Baky is an application PD and just has time and interest to work with me to optimize parameters. We are just grabbing low hanging fruit. Then we can see where we are and quantify the potential benefits of implementing a better data model.</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>Mark</div></font></span><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div></div><div>   Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class="m_5969198567604814804m_7496951006273800276HOEnZb"><font color="#888888"><div>Mark</div></font></span></div></div></div></blockquote></div><span>-- <br><div class="m_5969198567604814804m_7496951006273800276gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.caam.rice.edu/~mk51/" target="_blank">https://www.cse.buffalo.edu/~k<wbr>nepley/</a><br></div></div></div></div></div>
</span></div></div>
</blockquote></span></div><br></div></div>
</blockquote></div><br></div>