<div dir="ltr">It works for a stripped down GAMG solve (no smoothing and no square graph).  I will try adding the square graph back in ... <br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 25, 2015 at 7:24 AM, Mark Adams <span dir="ltr"><<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Sat, Mar 7, 2015 at 5:49 PM, Barry Smith <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span><br>
> On Mar 7, 2015, at 4:27 PM, Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br>
><br>
><br>
><br>
> On Sat, Mar 7, 2015 at 3:11 PM, Barry Smith <<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>> wrote:<br>
><br>
>   Hmm,  my first guess is a mixup between PetscMPIInt and PetscInt arrays  or MPIU_INT somewhere. (But compilers catch most of these)<br>
><br>
> I have a run with ~9K eq/core 128K cores many times but have never gotten the 32K/core (4B eq.) run to work.  So it looks like an int overflow issue.<br>
<br>
</span>  Well in theory if we have done everything write with 64 bit indices there should never be an integer overflow (though of course there could be mistake somewhere but generally the compiler will detect if we are trying to stick a 64 bit int into a 32 bit slot.<br>
<br>
   Can you try the same example without GAMG (say with hypre instead); if it goes through ok it might indicate an int issue either in gamg or the code that gamg calls?<br>
<span><font color="#888888"><br></font></span></blockquote><div><br></div></span><div>Good idea,  Jacobi works.  I will try a stripped down GAMG next.<br><br><br></div><span class=""><div><br> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span><font color="#888888">
  Barry<br>
</font></span><div><div><br>
><br>
><br>
>   Another possibility is bug in the MPI for many large messages; any chance you can run the same thing on a very different system? Mira?<br>
><br>
> Not soon, but I have Chombo and PETSc built on Mira and it would not be hard to get this code setup and try it.<br>
><br>
> This is for SCE15 so I will turn the PETSc test off unless someone has any ideas on something to try.  I am using maint perhaps I should use master.<br>
><br>
> Mark<br>
><br>
><br>
>   Barry<br>
><br>
> > On Mar 7, 2015, at 1:21 PM, Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br>
> ><br>
> > I seem to be getting this error on Edison with 128K cores and ~4 Billion equations.  I've seen this error several time.  I've attached a recent output from this.  I wonder if it is an integer overflow.  This built with 64 bit integers, but I notice that GAMG prints out N and I see N=0 for the finest level.<br>
> ><br>
> > Mark<br>
> > <out.131072.uniform.txt><br>
><br>
><br>
<br>
</div></div></blockquote></span></div><br></div></div>
</blockquote></div><br></div>