<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
><br>
> There error, flatlined or slightly diverging hypre solves, occurred even in flat MPI runs with openmp=1.<br>
<br>
</span>  But the answers are wrong as soon as you turn on OpenMP?<br>
<br></blockquote><div><br></div><div>No, that is the funny thing, the problem occurs with flat MPI, no OMP. Just an openmp=1 build. I am trying to reproduce this with PETSc tests now.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
   Thanks<br>
<span class="HOEnZb"><font color="#888888"><br>
    Barry<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
><br>
> We are going to test the Haswell nodes next.<br>
><br>
> On Thu, Jan 25, 2018 at 4:16 PM, Mark Adams <<a href="mailto:mfadams@lbl.gov">mfadams@lbl.gov</a>> wrote:<br>
> Baky (cc'ed) is getting a strange error on Cori/KNL at NERSC. Using maint it runs fine with -with-openmp=0, it runs fine with -with-openmp=1 and gamg, but with hypre and -with-openmp=1, even running with flat MPI, the solver seems flatline (see attached and notice that the residual starts to creep after a few time steps).<br>
><br>
> Maybe you can suggest a hypre test that I can run?<br>
><br>
<br>
</div></div></blockquote></div><br></div></div>