<div dir="ltr"><div><div><div><div>Hi Mark,<br><br></div>Take a look at the example template I've put together on Cori and see if it is helpful to you:<br><br>  /global/homes/r/rmills/proj/petsc/config/arch-cray-xc40-knl-opt.py<br><br></div><div>(I note that the optimization levels for the different compilers were chosen after a fair amount of testing.)  I'm about to check this into the config/examples directory in the PETSc repo, so I'll appreciate any comments you might have on this.<br></div><br></div>Also, I note that I looked at your configure options, and it looks like you are mixing Intel compiler options (e.g., "-qopenmp-simd") with Cray compiler options (e.g., "-hcpu=mic-knl"; you want "-xMIC-AVX512" for Intel). Which compiler are you using? It's easy to get confused since the same compiler wrappers are used for the Intel, Cray, and GCC compilers.<br><br></div><div>Best regards,<br></div><div>Richard<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jun 30, 2017 at 6:44 AM, Mark Adams <span dir="ltr"><<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div>
<div dir="ltr">Argh, thanks, that is the/a problem.</div><div><div class="h5">
<div class="gmail_extra"><br>
<div class="gmail_quote">On Fri, Jun 30, 2017 at 2:16 PM, Satish Balay <span dir="ltr">
<<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<a href="https://www.nersc.gov/users/computational-systems/cori/running-jobs/running-jobs-on-cori-faq/" rel="noreferrer" target="_blank">https://www.nersc.gov/users/co<wbr>mputational-systems/cori/runni<wbr>ng-jobs/running-jobs-on-cori-<wbr>faq/</a><br>
<br>
Perhaps you need to specify the knl partition to srun?<br>
<span class="m_5623187227466775076HOEnZb"><font color="#888888"><br>
Satish<br>
</font></span>
<div class="m_5623187227466775076HOEnZb">
<div class="m_5623187227466775076h5"><br>
On Fri, 30 Jun 2017, Mark Adams wrote:<br>
<br>
> I am getting this error when I configure on KNL in with-batch.  It is not<br>
> clear to me what compile line is being used in here. I've sent a bug report<br>
> to NERSC. Any ideas?<br>
><br>
> Thanks,<br>
><br>
> 05:13 nid00444 master= ~/petsc$ srun -n 1 ./conftest-arch-cori-knl-opt-c<wbr>c<br>
><br>
> Please verify that both the operating system and the processor support<br>
> Intel(R) AVX512F, ADX, RDSEED, AVX512ER, AVX512PF and AVX512CD instructions.<br>
><br>
> srun: error: nid00444: task 0: Exited with exit code 1<br>
><br>
<br>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div></div></div>

</blockquote></div><br></div></div>