<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

</head>

<body>

<div dir="ltr">

<div>Use srun <srun options> numactl -m 1 ./app OR srun <srun options> numactl -p 1 ./app </div>

<div dir="ltr">

<div>See bottom of <a href="https://www.nersc.gov/users/computational-systems/cori/configuration/knl-processor-modes/">https://www.nersc.gov/users/computational-systems/cori/configuration/knl-processor-modes/</a><br>

<div><font color="#173040" face="Helvetica Neue, Arial, Helvetica, sans-serif"><span style="font-size:12px;white-space:pre"><br clear="all">

</span></font>

<div>

<div dir="ltr" class="gmail_signature">

<div dir="ltr">--Junchao Zhang</div>

</div>

</div>

<br>

</div>

</div>

</div>

</div>

<br>

<div class="gmail_quote">

<div dir="ltr" class="gmail_attr">On Wed, Feb 27, 2019 at 4:16 PM Sajid Ali via petsc-users <<a href="mailto:petsc-users@mcs.anl.gov">petsc-users@mcs.anl.gov</a>> wrote:<br>

</div>

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">

<div dir="ltr">

<div>

<div>

<div>Hi, <br>

<br>

</div>

I ran a TS integrator for 25 steps on a Broadwell-Xeon and Xeon-Phi (KNL). The problem size is 5000x5000 and I'm using scalar=complex.

<br>

<br>

</div>

The program takes 125 seconds to run on Xeon and 451 seconds on KNL ! <br>

<br>

The first thing I want to change is to convert the memory access for the program on KNL from DRAM to MCDRAM. I did run the problem in an interactive SLURM job and specified -C quad,flat and yet I see DRAM is being used.

<br>

<br>

</div>

I'm attaching the PETSc log files and Intel APS reports as well. Any help on how I should change my runtime parameters on KNL will be highly appreciated. Thanks in advance.

<br clear="all">

<div>

<div>

<div>

<div><br>

-- <br>

<div dir="ltr" class="gmail-m_-3468637616358557445gmail_signature">

<div dir="ltr">

<div style="font-size:12.8px">Sajid Ali<br>

</div>

<div style="font-size:12.8px">Applied Physics<br>

</div>

<div style="font-size:12.8px">Northwestern University</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</blockquote>

</div>

</body>

</html>