Hi<div><span style="white-space:pre">     </span>I run the program on the debuged version of PETSC successfuly. Then I want using the optimized version. And configure by ./configure --with-debugging=no --with-packages-download-dir=~/packages_dir --with-mpich-dir="/public3/soft/mpich/mpich-3.4.2". Then I installed the Hypre package by <span style="font-size: 14px;">./configure --download-hypre=/public3/home/scg6368/packages_dir/hypre-2.24.0.tar.gz --with-mpich-dir="/public3/soft/mpich/mpich-3.4.2"</span></div><div>. The result as below</div><div><br></div><div><div><span style="font-size: 14px;">=============================================================================================</span></div><div><span style="font-size: 14px;">                         Configuring PETSc to compile on your system                         </span></div><div><span style="font-size: 14px;">=============================================================================================</span></div><div><span style="font-size: 14px;">=============================================================================================                                            ***** WARNING: You have a version of GNU make older than 4.0. It will work,                                                        but may not support all the parallel testing options. You can install the                                                          latest GNU make with your package manager, such as brew or macports, or use                                                        the --download-make option to get the latest GNU make *****                                                                  =============================================================================================                                      =============================================================================================                                            Running configure on HYPRE; this may take several minutes                                                                    =============================================================================================                                      =============================================================================================                                            Running make on HYPRE; this may take several minutes                                                                         =============================================================================================                                      =============================================================================================                                            Running make install on HYPRE; this may take several minutes                                                                 =============================================================================================                                      Compilers:                                                                                                                         </span></div><div><span style="font-size: 14px;">  C Compiler:         /public3/soft/mpich/mpich-3.4.2/bin/mpicc  -fPIC -Wall -Wwrite-strings -Wno-unknown-pragmas -Wno-lto-type-mismatch -fstack-protector -fvisibility=hidden -g3 -O0  </span></div><div><span style="font-size: 14px;">    Version: gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44)</span></div><div><span style="font-size: 14px;">  C++ Compiler:         /public3/soft/mpich/mpich-3.4.2/bin/mpicxx  -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -Wno-lto-type-mismatch -fstack-protector -fvisibility=hidden -g -O0  -std=gnu++11 -fPIC </span></div><div><span style="font-size: 14px;">    Version: g++ (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44)</span></div><div><span style="font-size: 14px;">  Fortran Compiler:         /public3/soft/mpich/mpich-3.4.2/bin/mpif90  -fPIC -Wall -ffree-line-length-0 -Wno-lto-type-mismatch -Wno-unused-dummy-argument -g -O0  </span></div><div><span style="font-size: 14px;">    Version: GNU Fortran (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44)</span></div><div><span style="font-size: 14px;">Linkers:</span></div><div><span style="font-size: 14px;">  Shared linker:   /public3/soft/mpich/mpich-3.4.2/bin/mpicc  -shared  -fPIC -Wall -Wwrite-strings -Wno-unknown-pragmas -Wno-lto-type-mismatch -fstack-protector -fvisibility=hidden -g3 -O0</span></div><div><span style="font-size: 14px;">  Dynamic linker:   /public3/soft/mpich/mpich-3.4.2/bin/mpicc  -shared  -fPIC -Wall -Wwrite-strings -Wno-unknown-pragmas -Wno-lto-type-mismatch -fstack-protector -fvisibility=hidden -g3 -O0</span></div><div><span style="font-size: 14px;">  Libraries linked against:   -lquadmath -lstdc++ -ldl </span></div><div><span style="font-size: 14px;">BlasLapack:</span></div><div><span style="font-size: 14px;">  Library:  -llapack -lblas</span></div><div><span style="font-size: 14px;">  Unknown if this uses OpenMP (try export OMP_NUM_THREADS=<1-4> yourprogram -log_view) </span></div><div><span style="font-size: 14px;">  uses 4 byte integers</span></div><div><span style="font-size: 14px;">MPI:</span></div><div><span style="font-size: 14px;">  Version:  3</span></div><div><span style="font-size: 14px;">  Includes: -I/public3/soft/mpich/mpich-3.4.2/include</span></div><div><span style="font-size: 14px;">  mpiexec: /public3/soft/mpich/mpich-3.4.2/bin/mpiexec</span></div><div><span style="font-size: 14px;">  Implementation: mpich3</span></div><div><span style="font-size: 14px;">  MPICH_NUMVERSION: 30402300</span></div><div><span style="font-size: 14px;">X:</span></div><div><span style="font-size: 14px;">  Library:  -lX11</span></div><div><span style="font-size: 14px;">pthread:</span></div><div><span style="font-size: 14px;">  Library:  -lpthread</span></div><div><span style="font-size: 14px;">cmake:</span></div><div><span style="font-size: 14px;">  Version:  2.8.12</span></div><div><span style="font-size: 14px;">  /usr/bin/cmake</span></div><div><span style="font-size: 14px;">hypre:</span></div><div><span style="font-size: 14px;">  Version:  2.24.0</span></div><div><span style="font-size: 14px;">  Includes: -I/public3/home/scg6368/petsc-3.17.2-opt/arch-linux-c-debug/include</span></div><div><span style="font-size: 14px;">  Library:  -Wl,-rpath,/public3/home/scg6368/petsc-3.17.2-opt/arch-linux-c-debug/lib -L/public3/home/scg6368/petsc-3.17.2-opt/arch-linux-c-debug/lib -lHYPRE</span></div><div><span style="font-size: 14px;">regex:</span></div><div><span style="font-size: 14px;">  Language used to compile PETSc: C</span></div><div><span style="font-size: 14px;">PETSc:</span></div><div><span style="font-size: 14px;">  PETSC_ARCH: arch-linux-c-debug</span></div><div><span style="font-size: 14px;">  PETSC_DIR: /public3/home/scg6368/petsc-3.17.2-opt</span></div><div><span style="font-size: 14px;">  Prefix: <inplace installation></span></div><div><span style="font-size: 14px;">  Scalar type: real</span></div><div><span style="font-size: 14px;">  Precision: double</span></div><div><span style="font-size: 14px;">  Support for __float128</span></div><div><span style="font-size: 14px;">  Integer size: 4 bytes</span></div><div><span style="font-size: 14px;">  Single library: yes</span></div><div><span style="font-size: 14px;">  Shared libraries: yes</span></div><div><span style="font-size: 14px;">  Memory alignment from malloc(): 16 bytes</span></div><div><span style="font-size: 14px;">  Using GNU make: /usr/bin/gmake</span></div><div><span style="font-size: 14px;">xxx=========================================================================xxx</span></div><div><span style="font-size: 14px;"> Configure stage complete. Now build PETSc libraries with:</span></div><div><span style="font-size: 14px;">   make PETSC_DIR=/public3/home/scg6368/petsc-3.17.2-opt PETSC_ARCH=arch-linux-c-debug all</span></div><div><span style="font-size: 14px;">xxx=========================================================================xxx</span></div><div><span style="font-size: 14px;">[scg6368@ln1:~/petsc-3.17.2-opt]$ make PETSC_DIR=/public3/home/scg6368/petsc-3.17.2-opt PETSC_ARCH=arch-linux-c-debug all  </span></div><div><span style="font-size: 14px;"><br></span></div><div><span style="font-size: 14px;">But after I compiled the C file, run the program on the login node by mpiexec -n 2 ./test37. It appears that the program is processed by two cores serially, not in parallel. The result is </span></div></div><div><div style=""><span style="font-size: 14px;"> INITIALIZATION TO COMPUTE INITIAL PRESSURE TO CREATE FRACTURE WITH INITIAL VOLUME AT INJECTION RATE = 0.000000e+00 ......</span></div><div style=""><span style="font-size: 14px;">      snesU converged in 0 iterations 2.</span></div><div style=""><span style="font-size: 14px;">      snesV converged in 0 iterations 2.</span></div><div style=""><span style="font-size: 14px;">      V min / max:     1.000000e+00 1.000000e+00</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: ------------------------------------------------------------------------</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Caught signal number 11 SEGV: Segmentation Violation, probably memory access out of range</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: or see https://petsc.org/release/faq/#valgrind</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: or try http://valgrind.org on GNU/linux and Apple MacOS to find memory corruption errors</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: configure using --with-debugging=yes, recompile, link, and run </span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: to get more information on the crash.</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Signal received</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: See https://petsc.org/release/faq/ for trouble shooting.</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Petsc Release Version 3.17.2, Jun 02, 2022 </span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: ./test37 on a arch-linux-c-opt named ln1.para.bscc by scg6368 Wed Aug 31 21:27:26 2022</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Configure options --with-debugging=no</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: #1 User provided function() at unknown file:0</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Run with -malloc_debug to check if memory corruption is causing the crash.</span></div><div style=""><span style="font-size: 14px;">Abort(59) on node 0 (rank 0 in comm 0): application called MPI_Abort(MPI_COMM_WORLD, 59) - process 0</span></div><div style=""><span style="font-size: 14px;">      snesU converged in 0 iterations 2.</span></div><div style=""><span style="font-size: 14px;">--------------------------------------------------------------------------</span></div><div style=""><span style="font-size: 14px;">Primary job  terminated normally, but 1 process returned</span></div><div style=""><span style="font-size: 14px;">a non-zero exit code. Per user-direction, the job has been aborted.</span></div><div style=""><span style="font-size: 14px;">--------------------------------------------------------------------------</span></div><div style=""><span style="font-size: 14px;">      snesV converged in 0 iterations 2.</span></div><div style=""><span style="font-size: 14px;">      V min / max:     1.000000e+00 1.000000e+00</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: ------------------------------------------------------------------------</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Caught signal number 11 SEGV: Segmentation Violation, probably memory access out of range</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Try option -start_in_debugger or -on_error_attach_debugger</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: or see https://petsc.org/release/faq/#valgrind</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: or try http://valgrind.org on GNU/linux and Apple MacOS to find memory corruption errors</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: configure using --with-debugging=yes, recompile, link, and run </span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: to get more information on the crash.</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Signal received</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: See https://petsc.org/release/faq/ for trouble shooting.</span></div><div style=""><span style="font-size: 14px;">[0]PETSC ERROR: Petsc Release Version 3.17.2, Jun 02, 2022 </span></div><div style="font-size: 14px;"><br></div></div><div style="font-size: 14px;">Then I run the program on the compute nodes by sbatch scipt. It appears that there is no hypre. The content of the script is as follows，the job error file is attached. I don't know where the problem is and would like your help. Thank you very much。</div><div style="font-size: 14px;"><br></div><div style="font-size: 14px;"><div style="font-family: Consolas, "Courier New", monospace; font-size: 15px; line-height: 20px; white-space: pre;"><div><span style="color: #008000;">#!/bin/sh</span></div><div><span style="color: #008000;">#An example for MPI  job.</span></div><div><span style="color: #008000;">#SBATCH -J PFM_frac53</span></div><div><span style="color: #008000;">#SBATCH -o job_37-1-%j.log</span></div><div><span style="color: #008000;">#SBATCH -e job_37-1-%j.err</span></div><div><span style="color: #008000;">#SBATCH -N 1</span></div><div><span style="color: #008000;">#SBATCH -n 20</span></div><div><span style="color: #008000;">#SBATCH --partition=amd_512</span></div><div><span style="color: #795e26;">echo</span> Time is <span style="color: #a31515;">`date`</span></div><div><span style="color: #795e26;">echo</span> Directory is <span style="color: #001080;">$PWD</span></div><div><span style="color: #795e26;">echo</span> This job runs on the following nodes:</div><div><span style="color: #795e26;">echo</span> <span style="color: #001080;">$SLURM_JOB_NODELIST</span></div><div><span style="color: #795e26;">echo</span> This job has allocated <span style="color: #001080;">$SLURM_JOB_CPUS_PER_NODE</span> cpu cores.</div><div><span style="color: #008000;">#module load intelmpi/2018.update4</span></div><div><span style="color: #008000;">#module load intelmpi/2019.update5</span></div><div><span style="color: #008000;">#module load intelmpi/2020</span></div><div><span style="color: #008000;">#module load hpcx/2.9.0/hpcx-intel-2019.update5</span></div><div>module load mpi/openmpi/4.1.1-gcc7.3.0</div><div>module load mpich/3.4.2</div><div><span style="color: #008000;">#module load openmpi/4.0.2/gcc/4.8.5</span></div><div><span style="color: #008000;">#module load openmpi/3.0.5/gcc/9.2.0</span></div><div><span style="color: #008000;">#module load gcc/9.2.0</span></div><div><span style="color: #008000;">#MPIRUN=mpirun #Intel mpi and Open MPI</span></div><div>MPIRUN=mpiexec <span style="color: #008000;">#MPICH</span></div><div><span style="color: #008000;">#MPIOPT="-env I_MPI_FABRICS shm:ofi" #Intel MPI 2018 ofa, 2019 and 2020 ofi</span></div><div><span style="color: #008000;">#MPIOPT="--mca btl self,sm,openib --mca btl_openib_cpc_include rdmacm --mca btl_openib_if_include mlx5_0:1" #Open MPI</span></div><div>MPIOPT=<span style="color: #a31515;">"-iface ib0"</span> <span style="color: #008000;">#MPICH3</span></div><div><span style="color: #008000;">#MPIOPT=</span></div><div><span style="color: #008000;">#$MPIRUN $MPIOPT ./mpiring</span></div><div><span style="color: #001080;">$MPIRUN</span> ./test37 -options_file options/test37.opts -p runtest37-1</div></div></div><div><span style="font-size: 14px;"><br></span></div>