<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Feb 2, 2017 at 10:53 AM, Satish Balay <span dir="ltr"><<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-">> [3404]PETSC ERROR: Memory allocated 0 Memory used by process <a href="tel:2537885696" value="+12537885696">2537885696</a><br>
</span>> [3404]PETSC ERROR: Memory requested 657532760<br>
<br>
So the process is currently using 2.5GB - and then made a malloc<br>
request for 650MB - and this failed?<br></blockquote><div><br></div><div>Yep, large but not garbage.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
How many 'tasks-per-node' are you using? Perhaps you need to reduce this number?<br></blockquote><div><br></div><div>Treb has run this job before and I think this code has been touched recently ... I suggested that Treb try <span style="font-size:12.8px">-matmatmult_via scalable</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Thanks,</span></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
<a href="https://www.nersc.gov/users/computational-systems/edison/configuration/
64GB/node" rel="noreferrer" target="_blank">https://www.nersc.gov/users/<wbr>computational-systems/edison/<wbr>configuration/<br>
64GB/node</a> => 5.3GB/process for tasks-per-node=12 [and 2.6GB/node for tasks-per-node=24]<br>
<br>
Satish<br>
<span class="gmail-"><br>
On Wed, 1 Feb 2017, Mark Adams wrote:<br>
<br>
> We are getting this error on Edison. This problem has run before. This is<br>
> using maint from last week.<br>
><br>
> I recall there are low memory options for mpiptap. I don't think we are<br>
> using them.<br>
><br>
> Thanks,<br>
><br>
> 3404]PETSC ERROR: --------------------- Error Message<br>
> ------------------------------<wbr>------------------------------<wbr>--<br>
> [3404]PETSC ERROR: Out of memory. This could be due to allocating<br>
> [3404]PETSC ERROR: too large an object or bleeding by not properly<br>
> [3404]PETSC ERROR: destroying unneeded objects.<br>
> [3404]PETSC ERROR: Memory allocated 0 Memory used by process <a href="tel:2537885696" value="+12537885696">2537885696</a><br>
</span>> <(253)%20788-5696><br>
<div><div class="gmail-h5">> [3404]PETSC ERROR: Try running with -malloc_dump or -malloc_log for info.<br>
> [3404]PETSC ERROR: Memory requested 657532760<br>
> [3404]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/<wbr>documentation/faq.html</a><br>
> for trouble shooting.<br>
> [3404]PETSC ERROR: Petsc Release Version 3.7.5, unknown<br>
> [3404]PETSC ERROR: /tmp/targetExec on a arch-xc30-opt64-intel named<br>
> nid00713 by u6338 Wed Feb  1 16:15:09 2017<br>
> [3404]PETSC ERROR: Configure options --COPTFLAGS="-fast -no-ipo"<br>
> --CXXOPTFLAGS="-fast -no-ipo" --FOPTFLAGS="-fast -no-ipo"<br>
> --download-parmetis --download-metis --download-hypre --with-ssl=0<br>
> --with-cc=cc --with-clib-autodetect=0 --with-cxx=CC<br>
> --with-cxxlib-autodetect=0 --with-debugging=0 --with-fc=ftn<br>
> --with-fortranlib-autodetect=0 --with-shared-libraries=0 --with-x=0<br>
> --with-mpiexec=srun LIBS=-lstdc++ --with-64-bit-indices<br>
> --prefix=/global/homes/m/<wbr>madams/petsc_install/petsc-<wbr>xc30-opt64-intel<br>
> PETSC_ARCH=arch-xc30-opt64-<wbr>intel PETSC_DIR=/global/homes/m/mada<br>
> ms/petsc_install/petsc<br>
> [3404]PETSC ERROR: #1 MatMatMultNumeric_SeqAIJ_<wbr>SeqAIJ() line 187 in<br>
> /global/u2/m/madams/petsc_<wbr>install/petsc/src/mat/impls/<wbr>aij/seq/matmatmult.c<br>
> [3404]PETSC ERROR: #2 MatMatMultNumeric_SeqAIJ_<wbr>SeqAIJ() line 187 in<br>
> /global/u2/m/madams/petsc_<wbr>install/petsc/src/mat/impls/<wbr>aij/seq/matmatmult.c<br>
> [3404]PETSC ERROR: #3 MatPtAPNumeric_MPIAIJ_MPIAIJ() line 557 in<br>
> /global/u2/m/madams/petsc_<wbr>install/petsc/src/mat/impls/<wbr>aij/mpi/mpiptap.c<br>
> [3404]PETSC ERROR: #4 MatPtAP_MPIAIJ_MPIAIJ() line 110 in<br>
> /global/u2/m/madams/petsc_<wbr>install/petsc/src/mat/impls/<wbr>aij/mpi/mpiptap.c<br>
> [3404]PETSC ERROR: #5 MatPtAP() line 9150 in /global/u2/m/madams/petsc_inst<br>
> all/petsc/src/mat/interface/<wbr>matrix.c<br>
> [3404]PETSC ERROR: #6 PCGAMGCreateLevel_GAMG() line 88 in<br>
> /global/u2/m/madams/petsc_<wbr>install/petsc/src/ksp/pc/<wbr>impls/gamg/gamg.c<br>
> [3404]PETSC ERROR: #7 PCSetUp_GAMG() line 611 in<br>
> /global/u2/m/madams/petsc_<wbr>install/petsc/src/ksp/pc/<wbr>impls/gamg/gamg.c<br>
> [3404]PETSC ERROR: #8 PCSetUp() line 968 in /global/u2/m/madams/petsc_inst<br>
> all/petsc/src/ksp/pc/<wbr>interface/precon.c<br>
> [3404]PETSC ERROR: #9 KSPSetUp() line 390 in /global/u2/m/madams/petsc_inst<br>
> all/petsc/src/ksp/ksp/<wbr>interface/itfunc.c<br>
> [3404]PETSC ERROR: #10 KSPSolve() line 599 in /global/u2/m/madams/petsc_inst<br>
> all/petsc/src/ksp/ksp/<wbr>interface/itfunc.c<br>
><br>
> [3406]PETSC ERROR: --------------------- Error Message<br>
> ------------------------------<wbr>------------------------------<wbr>--<br>
> [3406]PETSC ERROR: Out of memory. This could be due to allocating<br>
> [3406]PETSC ERROR: too large an object or bleeding by not properly<br>
> [3406]PETSC ERROR: destroying unneeded objects.<br>
> [3406]PETSC ERROR: Memory allocated 0 Memory used by process 2603798528<br>
</div></div>> <(260)%20379-8528><br>
<div class="gmail-HOEnZb"><div class="gmail-h5">> [3406]PETSC ERROR: Try running with -malloc_dump or -malloc_log for info.<br>
> [3406]PETSC ERROR: Memory requested 657532760<br>
> [3406]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/<wbr>documentation/faq.html</a><br>
> for trouble shooting.<br>
> [3406]PETSC ERROR: Petsc Release Version 3.7.5, unknown<br>
> [3406]PETSC ERROR: /tmp/targetExec on a arch-xc30-opt64-intel named<br>
> nid00713 by u6338 Wed Feb  1 16:15:09 2017<br>
> [3406]PETSC ERROR: Configure options --COPTFLAGS="-fast -no-ipo"<br>
> --CXXOPTFLAGS="-fast -no-ipo" --FOPTFLAGS="-fast -no-ipo"<br>
> --download-parmetis --download-metis --download-hypre --with-ssl=0<br>
> --with-cc=cc --with-clib-autodetect=0 --with-cxx=CC<br>
> --with-cxxlib-autodetect=0 --with-debugging=0 --with-fc=ftn<br>
> --with-fortranlib-autodetect=0 --with-shared-libraries=0 --with-x=0<br>
> --with-mpiexec=srun LIBS=-lstdc++ --with-64-bit-indices<br>
> --prefix=/global/homes/m/<wbr>madams/petsc_install/petsc-<wbr>xc30-opt64-intel<br>
> PETSC_ARCH=arch-xc30-opt64-<wbr>intel<br>
> PETSC_DIR=/global/homes/m/<wbr>madams/petsc_[7940]PETSC<br>
> ERROR: -<br>
><br>
<br>
</div></div></blockquote></div><br></div></div>