<div dir="ltr">You need a version of PETSc compiled with 64bit indices, since the message indicates the number of dofs in this case is larger the INT_MAX<div>2501×3401×1601 = 13617947501<br></div><div><br></div><div>I also suggest you upgrade to a newer version, 3.8.3 is quite old as the error message reports</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Il giorno mer 27 mag 2020 alle ore 11:50 Pierpaolo Minelli <<a href="mailto:pierpaolo.minelli@cnr.it">pierpaolo.minelli@cnr.it</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
I am trying to solve a Poisson equation on this grid:<br>
<br>
Nx = 2501<br>
Ny = 3401<br>
Nz = 1601<br>
<br>
I received this error:<br>
<br>
[0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------<br>
[0]PETSC ERROR: Overflow in integer operation: <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html#64-bit-indices" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html#64-bit-indices</a><br>
[0]PETSC ERROR: Mesh of 2501 by 3401 by 1 (dof) is too large for 32 bit indices<br>
[0]PETSC ERROR: See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble shooting.<br>
[0]PETSC ERROR: Petsc Release Version 3.8.3, Dec, 09, 2017 <br>
[0]PETSC ERROR: /marconi_scratch/userexternal/pminelli/PIC3D/2500_3400_1600/./PIC_3D on a arch-linux2-c-opt named r129c09s02 by pminelli Tu<br>
e May 26 20:16:34 2020<br>
[0]PETSC ERROR: Configure options --prefix=/cineca/prod/opt/libraries/petsc/3.8.3/intelmpi--2018--binary CC=mpiicc FC=mpiifort CXX=mpiicpc <br>
F77=mpiifort F90=mpiifort --with-debugging=0 --with-blaslapack-dir=/cineca/prod/opt/compilers/intel/pe-xe-2018/binary/mkl --with-fortran=1 <br>
--with-fortran-interfaces=1 --with-cmake-dir=/cineca/prod/opt/tools/cmake/3.5.2/none --with-mpi-dir=/cineca/prod/opt/compilers/intel/pe-xe-<br>
2018/binary/impi/2018.4.274 --download-scalapack --download-mumps=yes --download-hypre --download-superlu_dist --download-parmetis --downlo<br>
ad-metis<br>
[0]PETSC ERROR: #1 DMSetUp_DA_3D() line 218 in /marconi/prod/build/libraries/petsc/3.8.3/intelmpi--2018--binary/BA_WORK/petsc-3.8.3/src/dm/<br>
impls/da/da3.c<br>
[0]PETSC ERROR: #2 DMSetUp_DA() line 25 in /marconi/prod/build/libraries/petsc/3.8.3/intelmpi--2018--binary/BA_WORK/petsc-3.8.3/src/dm/impl<br>
s/da/dareg.c<br>
[0]PETSC ERROR: #3 DMSetUp() line 720 in /marconi/prod/build/libraries/petsc/3.8.3/intelmpi--2018--binary/BA_WORK/petsc-3.8.3/src/dm/interf<br>
ace/dm.c<br>
forrtl: error (76): Abort trap signal<br>
<br>
<br>
I am on an HPC facility and after I loaded PETSC module, I have seen that it is configured with INTEGER size = 32<br>
<br>
I solve my problem with these options and it works perfectly with smaller grids:<br>
<br>
-dm_mat_type hypre -pc_type hypre -pc_hypre_type boomeramg -pc_hypre_boomeramg_relax_type_all SOR/Jacobi -pc_hypre_boomeramg_coarsen_type PMIS -pc_hypre_boomeramg_interp_type FF1 -ksp_type richardson<br>
<br>
Is it possible to overcome this if I ask them to install a version with INTEGER SIZE = 64?<br>
Alternatively, is it possible to overcome this using intel compiler options?<br>
<br>
Thanks in advance<br>
<br>
Pierpaolo Minelli</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature">Stefano</div>