<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jan 11, 2017 at 1:55 PM, Barry Smith <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-"><br>
> On Jan 11, 2017, at 2:41 PM, Kong, Fande <<a href="mailto:fande.kong@inl.gov">fande.kong@inl.gov</a>> wrote:<br>
><br>
> We do not run the code with Satish's fixes, instead, we are using petsc-3.7.3 and there are not such issues. I guess the issues are introduced recently.<br>
<br>
</span>  Ok, then I am confused. Maybe master fixes the problem?<br></blockquote><div><br></div><div>Barry, I am sorry for confusing you. Let me rephrase a little.<br><br></div><div>We encountered this issue when we were using PETSc-3.7.4, and we reported the issue in another thread. Then Satish tried to fix the issue by adding more entities to the lookup, but we did not try the Satish's branch with this fix. We are back to use an old release PETSc-3.7.3. PETSc-3.7.3 is working just fine.<br><br></div><div>In PETSc-3.7.3, there is no such a function called PetscTableCreateHashSize. I hence guess the issue was introduced recently.<br><br></div><div>Fande,<br> </div><div><br><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<span class="gmail-"><br>
<br>
><br>
> Fande,<br>
><br>
> On Wed, Jan 11, 2017 at 1:31 PM, Mark Adams <<a href="mailto:mfadams@lbl.gov">mfadams@lbl.gov</a>> wrote:<br>
> Argh, yes that has to be the local size or a least not the global size.<br>
><br>
> On Wed, Jan 11, 2017 at 3:15 PM, Satish Balay <<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>> wrote:<br>
> >>><br>
> aN=A->cmap->N<br>
> ierr = PetscTableCreate(aN,aN,&ta);<wbr>CHKERRQ(ierr);<br>
> <<<<br>
><br>
> Looks like thats a 'global' size. That doesn't look right.<br>
><br>
</span>> <a href="https://urldefense.proofpoint.com/v2/url?u=https-3A__bitbucket.org_petsc_petsc_commits_c373ccc6-23chg-2Dsrc_mat_impls_aij_mpi_mpimatmatmult.c&d=DQIFAg&c=54IZrppPQZKX9mLzcGdPfFD1hxrcB__aEkJFOKJFd00&r=DUUt3SRGI0_JgtNaS3udV68GRkgV4ts7XKfj2opmiCY&m=QrWHgIE8D6e-Soe4EmaMtPH316RnhxnYdz3z8-0BzAI&s=99aU-Suv1V6kVMrH-cklX3-0MhHK8doL0qHKG6SD3dg&e=" rel="noreferrer" target="_blank">https://urldefense.proofpoint.<wbr>com/v2/url?u=https-3A__<wbr>bitbucket.org_petsc_petsc_<wbr>commits_c373ccc6-23chg-2Dsrc_<wbr>mat_impls_aij_mpi_<wbr>mpimatmatmult.c&d=DQIFAg&c=<wbr>54IZrppPQZKX9mLzcGdPfFD1hxrcB_<wbr>_aEkJFOKJFd00&r=DUUt3SRGI0_<wbr>JgtNaS3udV68GRkgV4ts7XKfj2opmi<wbr>CY&m=QrWHgIE8D6e-<wbr>Soe4EmaMtPH316RnhxnYdz3z8-<wbr>0BzAI&s=99aU-Suv1V6kVMrH-<wbr>cklX3-0MhHK8doL0qHKG6SD3dg&e=</a><br>
<span class="gmail-">><br>
> I see Hong had previously updated this code. Will have to recheck..<br>
><br>
> Satish<br>
><br>
> On Wed, 11 Jan 2017, Mark Adams wrote:<br>
><br>
> > ><br>
> > ><br>
> > > Must be the same place Fande encountered this error.<br>
> > ><br>
> > ><br>
> > Satish, here is our stack trace. Do you have any thoughts vis-a-vis Fande's<br>
> > experience what the problem is here?  My best guess is that the local<br>
> > matrix size is huge, but this code can have some very large stencils.<br>
> ><br>
> > Treb: about how many processors have this error? Is is it just one, a few,<br>
> > or tons?<br>
> ><br>
> > [5]PETSC ERROR: Argument out of range<br>
> > [5]PETSC ERROR: A really huge hash is being requested.. cannot process:<br>
> > 67108864<br>
</span>> > [5]PETSC ERROR: See <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__www.mcs.anl.gov_petsc_documentation_faq.html&d=DQIFAg&c=54IZrppPQZKX9mLzcGdPfFD1hxrcB__aEkJFOKJFd00&r=DUUt3SRGI0_JgtNaS3udV68GRkgV4ts7XKfj2opmiCY&m=QrWHgIE8D6e-Soe4EmaMtPH316RnhxnYdz3z8-0BzAI&s=OT0cBiLgLS78J3C-bfKA5qWjJhVZ6ECrPajQbNri5BE&e=" rel="noreferrer" target="_blank">https://urldefense.proofpoint.<wbr>com/v2/url?u=http-3A__www.mcs.<wbr>anl.gov_petsc_documentation_<wbr>faq.html&d=DQIFAg&c=<wbr>54IZrppPQZKX9mLzcGdPfFD1hxrcB_<wbr>_aEkJFOKJFd00&r=DUUt3SRGI0_<wbr>JgtNaS3udV68GRkgV4ts7XKfj2opmi<wbr>CY&m=QrWHgIE8D6e-<wbr>Soe4EmaMtPH316RnhxnYdz3z8-<wbr>0BzAI&s=OT0cBiLgLS78J3C-<wbr>bfKA5qWjJhVZ6ECrPajQbNri5BE&e=</a>  for<br>
<div class="gmail-HOEnZb"><div class="gmail-h5">><br>
> > trouble shooting.<br>
> > [5]PETSC ERROR: Petsc Development GIT revision: v3.7.4-2584-g7175242 GIT<br>
> > Date: 2016-12-21 13:19:16 -0600<br>
> > [5]PETSC ERROR: /tmp/targetExec on a arch-xc30-dbg64-intel named nid00013<br>
> > by u6338 Sat Jan  7 18:35:34 2017<br>
> > [5]PETSC ERROR: Configure options --COPTFLAGS="-O0 -g -no-ipo"<br>
> > --CXXOPTFLAGS="-O0 -g -no-ipo" --FOPTFLAGS="-O0 -g -ipo"<br>
> > --download-parmetis --download-metis --download-hypre --with-ssl=0<br>
> > --with-cc=cc --with-clib-autodetect=0 --with-cxx=CC<br>
> > --with-cxxlib-autodetect=0 --with-debugging=1 --with-fc=ftn<br>
> > --with-fortranlib-autodetect=0 --with-shared-libraries=0 --with-x=0<br>
> > --with-mpiexec=srun LIBS=-lstdc++ --with-64-bit-indices<br>
> > --prefix=/global/homes/m/<wbr>madams/petsc_install/petscv3.<wbr>7-xc3[1983]PETSC<br>
> > ERROR: --------------------- Error Message ------------------------------<br>
> > ------------------------------<wbr>--<br>
> ><br>
> > [5]PETSC ERROR: [522]PETSC ERROR: --------------------- Error Message<br>
> > ----------<br>
> ><br>
> > [5]PETSC ERROR: #2 PetscTableCreate() line 52 in<br>
> > /global/u2/m/madams/petsc_<wbr>install/petsc/src/sys/utils/<wbr>ctable.c<br>
> > [5]PETSC ERROR: #3 MatTransposeMatMultSymbolic_<wbr>MPIAIJ_MPIAIJ() line 1691 in<br>
> > /global/u2/m/madams/petsc_<wbr>install/petsc/src/mat/impls/<wbr>aij/<br>
> > mpi/mpimatmatmult.c<br>
> > [5]PETSC ERROR: #4 MatTransposeMatMult_MPIAIJ_<wbr>MPIAIJ() line 917 in<br>
> > /global/u2/m/madams/petsc_<wbr>install/petsc/src/mat/impls/<wbr>aij/<br>
> > mpi/mpimatmatmult.c<br>
> > [5]PETSC ERROR: [608]PETSC ERROR: --------------------- Error Message<br>
> > ----------<br>
> ><br>
> > [5]PETSC ERROR: #6 PCGAMGCoarsen_AGG() line 955 in<br>
> > /global/u2/m/madams/petsc_<wbr>install/petsc/src/ksp/pc/<wbr>impls/gamg/agg.c<br>
> > [5]PETSC ERROR: #7 PCSetUp_GAMG() line 524 in /global/u2/m/madams/petsc_inst<br>
> > all/petsc/src/ksp/pc/impls/<wbr>gamg/gamg.c<br>
> > [5]PETSC ERROR: #8 PCSetUp() line 968 in /global/u2/m/madams/petsc_inst<br>
> > all/petsc/src/ksp/pc/<wbr>interface/precon.c<br>
> > [5]PETSC ERROR: #9 KSPSetUp() line 393 in /global/u2/m/madams/petsc_inst<br>
> > all/petsc/src/ksp/ksp/<wbr>interface/itfunc.c<br>
> > [5]PETSC ERROR: [1640]PETSC ERROR: --------------------- Error Message -----<br>
> ><br>
> ><br>
> > > MatSetUpMultiply_MPIAIJ() does:<br>
> > ><br>
> > >   ierr = PetscTableCreate(aij->B->rmap-<wbr>>n,mat->cmap->N+1,&gid1_lid1);<br>
> > > CHKERRQ(ierr);<br>
> > ><br>
> > > So the local matrix size (n) must be: 4294967296<br>
> > ><br>
> > > [assuming atleast one nonzero per row - the local matrix itself must use<br>
> > > more memory than the hash-table..]<br>
> > ><br>
> > > Satish<br>
> > ><br>
> ><br>
><br>
><br>
><br>
<br>
</div></div></blockquote></div><br></div></div>