<div dir="ltr"><div dir="ltr">On Wed, Aug 19, 2020 at 8:55 PM Jed Brown <<a href="mailto:jed@jedbrown.org">jed@jedbrown.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Manav Bhatia <<a href="mailto:bhatiamanav@gmail.com" target="_blank">bhatiamanav@gmail.com</a>> writes:<br>
<br>
> Thanks for the followup, Jed. <br>
><br>
>> On Aug 19, 2020, at 7:42 PM, Jed Brown <<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>> wrote:<br>
>> <br>
>> Can you share a couple example stack traces from that debugging?  <br>
><br>
> Do you mean a similar screenshot at different system sizes? Or a different format? <br>
<br>
Sorry, I missed the screenshots (they were tucked away in the text/html and I was reading the text/plain version of your message).<br>
<br>
>> About how many nonzeros per row?<br>
><br>
> This is a 3D elasticity run with Hex8 elements. So, each row has 81 non-zero entries, although I have not verified that (I will do so now). Is there a command line argument that will print this for the matrix? Although, on second thought that will not be printed unless the Assembly routine has finished. <br>
<br>
You could run a smaller problem size with -snes_view, which would show matrix stats.<br>
<br>
Can you try running with -matstash_legacy?<br>
<br>
What version of Open MPI is this?<br>
</blockquote></div><br clear="all"><div>Jed is more knowledgeable about the communication, but I have a simple question about the FEM method. Normally, the way</div><div>we divide unknowns is that the only unknowns which might have entries computed off-process are those on the partition boundary.</div><div>However, it sounds like you have a huge number of communicated values. Is it possible that the division of rows in your matrix does</div><div>not match the division of the cells you compute element matrices for?</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>