<div dir="ltr">We are using KNL (Cori) and hypre is not working when configured with  '--with-openmp=1', even when not using threads (as far as I can tell, I never use threads).<div><br></div><div>Hypre is not converging, for instance with an optimized build:</div><div><br></div><div><div>srun -n 1 ./ex56 -pc_type hypre -ksp_monitor -ksp_converged_reason -ksp_type cg -pc_hypre_type boomeramg</div><div>OMP: Warning #239: KMP_AFFINITY: granularity=fine will be used.</div><div>  0 KSP Residual norm 7.366251922394e+22 </div><div>  1 KSP Residual norm 3.676434682799e+22 </div><div>Linear solve did not converge due to DIVERGED_INDEFINITE_PC iterations 2</div></div><div><br></div><div>Interestingly in debug mode it almost looks good but it is dying:</div><div><br></div><div><div>05:09 nid02516 maint *= ~/petsc_install/petsc/src/ksp/ksp/examples/tutorials$ make PETSC_DIR=/global/homes/m/madams/petsc_install/petsc-cori-knl-dbg64-intel-omp PETSC_ARCH="" run </div><div>srun -n 1 ./ex56 -pc_type hypre -ksp_monitor -ksp_converged_reason -ksp_type cg -pc_hypre_type boomeramg</div><div>OMP: Warning #239: KMP_AFFINITY: granularity=fine will be used.</div><div>  0 KSP Residual norm 7.882081712007e+02 </div><div>  1 KSP Residual norm 2.500214073037e+02 </div><div>  2 KSP Residual norm 3.371746347713e+01 </div><div>  3 KSP Residual norm 2.918759396143e+00 </div><div>  4 KSP Residual norm 9.006505495017e-01 </div><div>Linear solve did not converge due to DIVERGED_INDEFINITE_PC iterations 5</div></div><div><br></div><div>This test runs fine on Xeon nodes. I assume that Hypre has been tested on KNL. GAMG runs fine, of coarse and the initial residual is similar to this debug run.</div><div><br></div><div>Could PETSc be messing up the matrix conversion to hypre <span style="background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">'--with-openmp=1'</span> ?</div><div><br></div><div>Any ideas?</div><div><br></div><div>Thanks,</div><div>Mark</div><div><br></div></div>