<div dir="ltr">Sometimes when we do not have exact counts, we need to overestimate sizes. This is especially true<div>in sparse MatMat.</div><div><br></div><div>   Matt</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 16, 2015 at 9:38 AM, Eric Chamberland <span dir="ltr"><<a href="mailto:Eric.Chamberland@giref.ulaval.ca" target="_blank">Eric.Chamberland@giref.ulaval.ca</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
we just tried this morning to solve a 1.7 billion dofs problem (on 1060 processors task)  .<br>
<br>
Unfortunately, petsc-3.5.3 didn't succeed within a MatMatMult product with the following backtrace:<br>
<br>
[0]PETSC ERROR: Out of memory. This could be due to allocating<br>
[0]PETSC ERROR: too large an object or bleeding by not properly<br>
[0]PETSC ERROR: destroying unneeded objects.<br>
[0]PETSC ERROR: Memory allocated 0 Memory used by process <a href="tel:4126371840" value="+14126371840" target="_blank">4126371840</a><br>
[0]PETSC ERROR: Try running with -malloc_dump or -malloc_log for info.<br>
[0]PETSC ERROR: Memory requested 18446744070461249536<br>
[0]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.<br>
[0]PETSC ERROR: Petsc Release Version 3.5.3, Jan, 31, 2015<br>
[0]PETSC ERROR: /rap/jsf-051-aa/ericc/GIREF/bin/probGD.opt on a linux-gnu-intel named r101-n31 by<br>
[0]PETSC ERROR: Configure options PETSC_ARCH=linux-gnu-intel CFLAGS="-O3 -xHost -mkl -fPIC -m64 -n<br>
[0]PETSC ERROR: #1 PetscMallocAlign() line 46 in /software6/src/petsc-3.5.3/src/sys/memory/mal.c<br>
[0]PETSC ERROR: #2 PetscLLCondensedCreate_Scalable() line 1327 in /software6/src/petsc-3.5.3/inclu<br>
[0]PETSC ERROR: #3 MatMatMultSymbolic_MPIAIJ_MPIAIJ() line 741 in /software6/src/petsc-3.5.3/src/m<br>
[0]PETSC ERROR: #4 MatMatMult_MPIAIJ_MPIAIJ() line 33 in /software6/src/petsc-3.5.3/src/mat/impls/<br>
[0]PETSC ERROR: #5 MatMatMult() line 8713 in /software6/src/petsc-3.5.3/src/mat/interface/matrix.c<br>
<br>
The amount of memory requested is, apparently, an overflow of a PetscInt which is a 32 bit signed int.<br>
<br>
Bad user I am, I didn't expected that to solve a problem with less than 2^31 unknowns, it could be mandatory to compile petsc with 64bit indices...<br>
<br>
Is compiling with "--with-64-bit-indices" the only solution to my problem?<br>
<br>
Is it a known limitation/bug with a "Petsc-32bit-indices"?<br>
<br>
Thanks,<br>
<br>
Eric<br>
<br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div>
</div>