<div dir="ltr">FYI, we were able to get hypre with threads working on KNL on Cori by going down to -O1 optimization. We are getting about 2x speedup with 4 threads and 16 MPI processes per socket. Not bad.<div><br></div><div>There error, flatlined or slightly diverging hypre solves, occurred even in flat MPI runs with openmp=1.</div><div><br></div><div>We are going to test the Haswell nodes next.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jan 25, 2018 at 4:16 PM, Mark Adams <span dir="ltr"><<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Baky (cc'ed) is getting a strange error on Cori/KNL at NERSC. Using maint it runs fine with -with-openmp=0, it runs fine with -with-openmp=1 and gamg, but with hypre and -with-openmp=1, even running with flat MPI, the solver seems flatline (see attached and notice that the residual starts to creep after a few time steps).<div><br></div><div>Maybe you can suggest a hypre test that I can run?</div></div>
</blockquote></div><br></div>