<div dir="ltr"><br><br><div class="gmail_quote"><div dir="ltr">On Fri, Jun 22, 2018 at 4:39 PM Smith, Barry F. <<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
<br>
> On Jun 22, 2018, at 3:33 PM, Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br>
> <br>
> We are using KNL (Cori) and hypre is not working when configured with  '--with-openmp=1', even when not using threads (as far as I can tell, I never use threads).<br>
<br>
   It does seem to run correctly without the --with-openmp option?<br></blockquote><div><br></div><div>Yes. And I've run it through valgrind.</div><div><br></div><div>Ulrike: have you tested on KNL with openMP?</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
   PETSc code does not know about --with-openmp at all so my guess is some bug in the compiler when building hypre with OpenMP.<br>
<br>
   Barry<br>
<br>
> <br>
> Hypre is not converging, for instance with an optimized build:<br>
> <br>
> srun -n 1 ./ex56 -pc_type hypre -ksp_monitor -ksp_converged_reason -ksp_type cg -pc_hypre_type boomeramg<br>
> OMP: Warning #239: KMP_AFFINITY: granularity=fine will be used.<br>
>   0 KSP Residual norm 7.366251922394e+22 <br>
>   1 KSP Residual norm 3.676434682799e+22 <br>
> Linear solve did not converge due to DIVERGED_INDEFINITE_PC iterations 2<br>
> <br>
> Interestingly in debug mode it almost looks good but it is dying:<br>
> <br>
> 05:09 nid02516 maint *= ~/petsc_install/petsc/src/ksp/ksp/examples/tutorials$ make PETSC_DIR=/global/homes/m/madams/petsc_install/petsc-cori-knl-dbg64-intel-omp PETSC_ARCH="" run <br>
> srun -n 1 ./ex56 -pc_type hypre -ksp_monitor -ksp_converged_reason -ksp_type cg -pc_hypre_type boomeramg<br>
> OMP: Warning #239: KMP_AFFINITY: granularity=fine will be used.<br>
>   0 KSP Residual norm 7.882081712007e+02 <br>
>   1 KSP Residual norm 2.500214073037e+02 <br>
>   2 KSP Residual norm 3.371746347713e+01 <br>
>   3 KSP Residual norm 2.918759396143e+00 <br>
>   4 KSP Residual norm 9.006505495017e-01 <br>
> Linear solve did not converge due to DIVERGED_INDEFINITE_PC iterations 5<br>
> <br>
> This test runs fine on Xeon nodes. I assume that Hypre has been tested on KNL. GAMG runs fine, of coarse and the initial residual is similar to this debug run.<br>
> <br>
> Could PETSc be messing up the matrix conversion to hypre '--with-openmp=1' ?<br>
> <br>
> Any ideas?<br>
> <br>
> Thanks,<br>
> Mark<br>
> <br>
<br>
</blockquote></div></div>