<div dir="ltr"><div>We do not run the code with Satish's fixes, instead, we are using petsc-3.7.3 and there are not such issues. I guess the issues are introduced recently.<br><br></div>Fande, <br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jan 11, 2017 at 1:31 PM, Mark Adams <span dir="ltr"><<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Argh, yes that has to be the local size or a least not the global size. </div><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Wed, Jan 11, 2017 at 3:15 PM, Satish Balay <span dir="ltr"><<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>></span> wrote:<br></span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">>>><br>
aN=A->cmap->N<br>
ierr = PetscTableCreate(aN,aN,&ta);CH<wbr>KERRQ(ierr);<br>
<<<<br>
<br>
Looks like thats a 'global' size. That doesn't look right.<br>
<br>
</span><a href="https://urldefense.proofpoint.com/v2/url?u=https-3A__bitbucket.org_petsc_petsc_commits_c373ccc6-23chg-2Dsrc_mat_impls_aij_mpi_mpimatmatmult.c&d=DQMFaQ&c=54IZrppPQZKX9mLzcGdPfFD1hxrcB__aEkJFOKJFd00&r=DUUt3SRGI0_JgtNaS3udV68GRkgV4ts7XKfj2opmiCY&m=76yx34-qrsxdRv22O3eNUMz1k5Rzht2ZR7_1ayoSMEA&s=AG50mmcKH8CL_v5UwMmU0KnwLITrlarTj2_SJmVm3mU&e=" rel="noreferrer" target="_blank">https://bitbucket.org/petsc/pe<wbr>tsc/commits/c373ccc6#chg-src/<wbr>mat/impls/aij/mpi/mpimatmatmul<wbr>t.c</a><span class=""><br>
<br>
I see Hong had previously updated this code. Will have to recheck..<br>
<span class="m_3036423126400209131HOEnZb"><font color="#888888"><br>
Satish<br>
</font></span></span><div class="m_3036423126400209131HOEnZb"><div class="m_3036423126400209131h5"><span class=""><br>
On Wed, 11 Jan 2017, Mark Adams wrote:<br>
<br>
> ><br>
> ><br>
> > Must be the same place Fande encountered this error.<br>
> ><br>
> ><br>
> Satish, here is our stack trace. Do you have any thoughts vis-a-vis Fande's<br>
> experience what the problem is here?  My best guess is that the local<br>
> matrix size is huge, but this code can have some very large stencils.<br>
><br>
> Treb: about how many processors have this error? Is is it just one, a few,<br>
> or tons?<br>
><br>
> [5]PETSC ERROR: Argument out of range<br>
> [5]PETSC ERROR: A really huge hash is being requested.. cannot process:<br>
> 67108864<br></span>
> [5]PETSC ERROR: See <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__www.mcs.anl.gov_petsc_documentation_faq.html&d=DQMFaQ&c=54IZrppPQZKX9mLzcGdPfFD1hxrcB__aEkJFOKJFd00&r=DUUt3SRGI0_JgtNaS3udV68GRkgV4ts7XKfj2opmiCY&m=76yx34-qrsxdRv22O3eNUMz1k5Rzht2ZR7_1ayoSMEA&s=YJkJ5MMR_SQlxpr5ivNKPKyG2u9uAvzj8imzwEuWVu8&e=" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/d<wbr>ocumentation/faq.html</a> for<div><div class="h5"><br>
> trouble shooting.<br>
> [5]PETSC ERROR: Petsc Development GIT revision: v3.7.4-2584-g7175242 GIT<br>
> Date: 2016-12-21 13:19:16 -0600<br>
> [5]PETSC ERROR: /tmp/targetExec on a arch-xc30-dbg64-intel named nid00013<br>
> by u6338 Sat Jan  7 18:35:34 2017<br>
> [5]PETSC ERROR: Configure options --COPTFLAGS="-O0 -g -no-ipo"<br>
> --CXXOPTFLAGS="-O0 -g -no-ipo" --FOPTFLAGS="-O0 -g -ipo"<br>
> --download-parmetis --download-metis --download-hypre --with-ssl=0<br>
> --with-cc=cc --with-clib-autodetect=0 --with-cxx=CC<br>
> --with-cxxlib-autodetect=0 --with-debugging=1 --with-fc=ftn<br>
> --with-fortranlib-autodetect=0 --with-shared-libraries=0 --with-x=0<br>
> --with-mpiexec=srun LIBS=-lstdc++ --with-64-bit-indices<br>
> --prefix=/global/homes/m/madam<wbr>s/petsc_install/petscv3.7-xc3[<wbr>1983]PETSC<br>
> ERROR: --------------------- Error Message ------------------------------<br>
> ------------------------------<wbr>--<br>
><br>
> [5]PETSC ERROR: [522]PETSC ERROR: --------------------- Error Message<br>
> ----------<br>
><br>
> [5]PETSC ERROR: #2 PetscTableCreate() line 52 in<br>
> /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/sys/utils/ctable<wbr>.c<br>
> [5]PETSC ERROR: #3 MatTransposeMatMultSymbolic_MP<wbr>IAIJ_MPIAIJ() line 1691 in<br>
> /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/mat/impls/aij/<br>
> mpi/mpimatmatmult.c<br>
> [5]PETSC ERROR: #4 MatTransposeMatMult_MPIAIJ_MPI<wbr>AIJ() line 917 in<br>
> /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/mat/impls/aij/<br>
> mpi/mpimatmatmult.c<br>
> [5]PETSC ERROR: [608]PETSC ERROR: --------------------- Error Message<br>
> ----------<br>
><br>
> [5]PETSC ERROR: #6 PCGAMGCoarsen_AGG() line 955 in<br>
> /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/ksp/pc/impls/<wbr>gamg/agg.c<br>
> [5]PETSC ERROR: #7 PCSetUp_GAMG() line 524 in /global/u2/m/madams/petsc_inst<br>
> all/petsc/src/ksp/pc/impls/gam<wbr>g/gamg.c<br>
> [5]PETSC ERROR: #8 PCSetUp() line 968 in /global/u2/m/madams/petsc_inst<br>
> all/petsc/src/ksp/pc/interface<wbr>/precon.c<br>
> [5]PETSC ERROR: #9 KSPSetUp() line 393 in /global/u2/m/madams/petsc_inst<br>
> all/petsc/src/ksp/ksp/interfac<wbr>e/itfunc.c<br>
> [5]PETSC ERROR: [1640]PETSC ERROR: --------------------- Error Message -----<br>
><br>
><br>
> > MatSetUpMultiply_MPIAIJ() does:<br>
> ><br>
> >   ierr = PetscTableCreate(aij->B->rmap-<wbr>>n,mat->cmap->N+1,&gid1_lid1);<br>
> > CHKERRQ(ierr);<br>
> ><br>
> > So the local matrix size (n) must be: 4294967296<br>
> ><br>
> > [assuming atleast one nonzero per row - the local matrix itself must use<br>
> > more memory than the hash-table..]<br>
> ><br>
> > Satish<br>
> ><br>
><br>
<br>
</div></div></div></div></blockquote></div><br></div>
</blockquote></div><br></div>