<div dir="ltr"><div>BTW what are the relevant papers that describe this problem? Is this one<br><br></div><div><a href="http://epubs.siam.org/doi/abs/10.1137/110834512">http://epubs.siam.org/doi/abs/10.1137/110834512</a><br></div><div><br><br><div class="gmail_quote"><div>On Mon, Apr 3, 2017 at 1:04 PM Justin Chang <<a href="mailto:jychang48@gmail.com" target="_blank">jychang48@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="gmail-m_-7275125522621172925gmail_msg">So my makefile/script is slightly different from the tutorial directory. Basically I have a shell for loop that runs the 'make runex48' four times where -da_refine is increased each time. It showed Levels 1 0 then 2 1 0 because the job was in the middle of the loop, and I cancelled it halfway when I realized it was returning errors as I didn't want to burn any precious SU's :)<div class="gmail-m_-7275125522621172925gmail_msg"><br class="gmail-m_-7275125522621172925gmail_msg"></div><div class="gmail-m_-7275125522621172925gmail_msg">Anyway, I ended up using Edison with 16 cores/node and Cori/Haswell with 32 cores/node and got some nice numbers for 128x128x16 coarse grid. I am however having issues with Cori/KNL, which I think has more to do with how I configured PETSc and/or the job scripts.</div></div><div class="gmail_extra gmail-m_-7275125522621172925gmail_msg"><br class="gmail-m_-7275125522621172925gmail_msg"><div class="gmail_quote gmail-m_-7275125522621172925gmail_msg">On Mon, Apr 3, 2017 at 6:23 AM, Jed Brown <span class="gmail-m_-7275125522621172925gmail_msg"><<a href="mailto:jed@jedbrown.org" class="gmail-m_-7275125522621172925gmail_msg" target="_blank">jed@jedbrown.org</a>></span> wrote:<br class="gmail-m_-7275125522621172925gmail_msg"><blockquote class="gmail_quote gmail-m_-7275125522621172925gmail_msg" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-m_-7275125522621172925gmail_msg">Matthew Knepley <<a href="mailto:knepley@gmail.com" class="gmail-m_-7275125522621172925gmail_msg" target="_blank">knepley@gmail.com</a>> writes:<br class="gmail-m_-7275125522621172925gmail_msg">
> I can't think why it would fail there, but DMDA really likes old numbers of<br class="gmail-m_-7275125522621172925gmail_msg">
> vertices, because it wants<br class="gmail-m_-7275125522621172925gmail_msg">
> to take every other point, 129 seems good. I will see if I can reproduce<br class="gmail-m_-7275125522621172925gmail_msg">
> once I get a chance.<br class="gmail-m_-7275125522621172925gmail_msg">
<br class="gmail-m_-7275125522621172925gmail_msg">
</span>This problem uses periodic boundary conditions so even is right, but<br class="gmail-m_-7275125522621172925gmail_msg">
Justin only defines the coarsest grid and uses -da_refine so it should<br class="gmail-m_-7275125522621172925gmail_msg">
actually be irrelevant.<br class="gmail-m_-7275125522621172925gmail_msg">
</blockquote></div><br class="gmail-m_-7275125522621172925gmail_msg"></div>
</blockquote></div></div></div>