<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">Mark:</div><div class="gmail_quote">A quick check, I find that MatPtAP_MPIAIJ_MPIAI() set default algorithm as</div><div class="gmail_quote">rap=PETSC_TRUE; /* do R=P^T locally, then C=R*A*P */</div><div class="gmail_quote"><br></div><div class="gmail_quote">The crash occurs at </div><div class="gmail_quote"><span style="font-size:12.8px">3404]PETSC ERROR: #1 MatMatMultNumeric_SeqAIJ_SeqAI</span><wbr style="font-size:12.8px"><span style="font-size:12.8px">J() line 187 in /global/u2/m/madams/petsc_inst</span><wbr style="font-size:12.8px"><span style="font-size:12.8px">all/petsc/src/mat/impls/aij/se</span><wbr style="font-size:12.8px"><span style="font-size:12.8px">q/matmatmult.c</span></div><div class="gmail_quote"><span style="font-size:12.8px"><br></span></div><div class="gmail_quote"><span style="font-size:12.8px"> ierr = PetscCalloc1(B->cmap->N,&ab_dense);</span></div><div class="gmail_quote"><span style="font-size:12.8px"><br></span></div><div class="gmail_quote"><span style="font-size:12.8px">which is global column size P->N. </span></div><div class="gmail_quote"><span style="font-size:12.8px">I'll check if we can avoid this non-scalable approach.</span></div><div class="gmail_quote"><span style="font-size:12.8px">Meanwhile, can you try option '-matrap false' to use P^T*A*P?</span></div><div class="gmail_quote"><span style="font-size:12.8px"><br></span></div><div class="gmail_quote"><span style="font-size:12.8px">Hong</span></div><div class="gmail_quote"><span style="font-size:12.8px"><br></span><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>We are getting this error on Edison. This problem has run before. This is using maint from last week.</div><div><br></div><div>I recall there are low memory options for mpiptap. I don't think we are using them.</div><div><br></div><div>Thanks,</div><div><br></div><div>3404]PETSC ERROR: --------------------- Error Message ------------------------------<wbr>------------------------------<wbr>--</div><div>[3404]PETSC ERROR: Out of memory. This could be due to allocating</div><div>[3404]PETSC ERROR: too large an object or bleeding by not properly</div><div>[3404]PETSC ERROR: destroying unneeded objects.</div><div>[3404]PETSC ERROR: Memory allocated 0 Memory used by process <a href="tel:(253)%20788-5696" value="+12537885696" target="_blank">2537885696</a></div><div>[3404]PETSC ERROR: Try running with -malloc_dump or -malloc_log for info.</div><div>[3404]PETSC ERROR: Memory requested 657532760</div><div>[3404]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">http://www.mcs.anl.gov/petsc/d<wbr>ocumentation/faq.html</a> for trouble shooting.</div><div>[3404]PETSC ERROR: Petsc Release Version 3.7.5, unknown</div><div>[3404]PETSC ERROR: /tmp/targetExec on a arch-xc30-opt64-intel named nid00713 by u6338 Wed Feb  1 16:15:09 2017</div><div>[3404]PETSC ERROR: Configure options --COPTFLAGS="-fast -no-ipo" --CXXOPTFLAGS="-fast -no-ipo" --FOPTFLAGS="-fast -no-ipo" --download-parmetis --download-metis --download-hypre --with-ssl=0 --with-cc=cc --with-clib-autodetect=0 --with-cxx=CC --with-cxxlib-autodetect=0 --with-debugging=0 --with-fc=ftn --with-fortranlib-autodetect=0 --with-shared-libraries=0 --with-x=0 --with-mpiexec=srun LIBS=-lstdc++ --with-64-bit-indices --prefix=/global/homes/m/madam<wbr>s/petsc_install/petsc-xc30-opt<wbr>64-intel PETSC_ARCH=arch-xc30-opt64-int<wbr>el PETSC_DIR=/global/homes/m/mada<wbr>ms/petsc_install/petsc</div><div>[3404]PETSC ERROR: #1 MatMatMultNumeric_SeqAIJ_SeqAI<wbr>J() line 187 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/mat/impls/aij/se<wbr>q/matmatmult.c</div><div>[3404]PETSC ERROR: #2 MatMatMultNumeric_SeqAIJ_SeqAI<wbr>J() line 187 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/mat/impls/aij/se<wbr>q/matmatmult.c</div><div>[3404]PETSC ERROR: #3 MatPtAPNumeric_MPIAIJ_MPIAIJ() line 557 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/mat/impls/aij/mp<wbr>i/mpiptap.c</div><div>[3404]PETSC ERROR: #4 MatPtAP_MPIAIJ_MPIAIJ() line 110 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/mat/impls/aij/mp<wbr>i/mpiptap.c</div><div>[3404]PETSC ERROR: #5 MatPtAP() line 9150 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/mat/interface/ma<wbr>trix.c</div><div>[3404]PETSC ERROR: #6 PCGAMGCreateLevel_GAMG() line 88 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/ksp/pc/impls/gam<wbr>g/gamg.c</div><div>[3404]PETSC ERROR: #7 PCSetUp_GAMG() line 611 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/ksp/pc/impls/gam<wbr>g/gamg.c</div><div>[3404]PETSC ERROR: #8 PCSetUp() line 968 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/ksp/pc/interface<wbr>/precon.c</div><div>[3404]PETSC ERROR: #9 KSPSetUp() line 390 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/ksp/ksp/interfac<wbr>e/itfunc.c</div><div>[3404]PETSC ERROR: #10 KSPSolve() line 599 in /global/u2/m/madams/petsc_inst<wbr>all/petsc/src/ksp/ksp/interfac<wbr>e/itfunc.c</div><div><br></div><div><div>[3406]PETSC ERROR: --------------------- Error Message ------------------------------<wbr>------------------------------<wbr>--</div><div>[3406]PETSC ERROR: Out of memory. This could be due to allocating</div><div>[3406]PETSC ERROR: too large an object or bleeding by not properly</div><div>[3406]PETSC ERROR: destroying unneeded objects.</div><div>[3406]PETSC ERROR: Memory allocated 0 Memory used by process <a href="tel:(260)%20379-8528" value="+12603798528" target="_blank">2603798528</a></div><div>[3406]PETSC ERROR: Try running with -malloc_dump or -malloc_log for info.</div><div>[3406]PETSC ERROR: Memory requested 657532760</div><div>[3406]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">http://www.mcs.anl.gov/petsc/d<wbr>ocumentation/faq.html</a> for trouble shooting.</div><div>[3406]PETSC ERROR: Petsc Release Version 3.7.5, unknown</div><div>[3406]PETSC ERROR: /tmp/targetExec on a arch-xc30-opt64-intel named nid00713 by u6338 Wed Feb  1 16:15:09 2017</div><div>[3406]PETSC ERROR: Configure options --COPTFLAGS="-fast -no-ipo" --CXXOPTFLAGS="-fast -no-ipo" --FOPTFLAGS="-fast -no-ipo" --download-parmetis --download-metis --download-hypre --with-ssl=0 --with-cc=cc --with-clib-autodetect=0 --with-cxx=CC --with-cxxlib-autodetect=0 --with-debugging=0 --with-fc=ftn --with-fortranlib-autodetect=0 --with-shared-libraries=0 --with-x=0 --with-mpiexec=srun LIBS=-lstdc++ --with-64-bit-indices --prefix=/global/homes/m/madam<wbr>s/petsc_install/petsc-xc30-opt<wbr>64-intel PETSC_ARCH=arch-xc30-opt64-int<wbr>el PETSC_DIR=/global/homes/m/mada<wbr>ms/petsc_[7940]PETSC ERROR: -</div></div></div>
</blockquote></div><br></div></div>