<div dir="ltr">Something is very messed up on Crusher.  I've never seen this "Cannot allocate memory", but see it for everything:<div><br></div><div>13:11 1 main= crusher:/gpfs/alpine/csc314/scratch/adams/petsc2$ ll<br>ls: cannot read symbolic link 'configure.log.bkp': Cannot allocate memory<br>ls: cannot read symbolic link 'make.log': Cannot allocate memory<br>ls: cannot read symbolic link 'configure.log': Cannot allocate memory<br>total 25637<br>drwxr-xr-x  8 adams adams      4096 Jan 20 08:51 arch-olcf-crusher<br>drwxr-xr-x  8 adams adams      4096 Jan 18 20:23 arch-spock-amd<br>drwxrwxr-x  5 adams adams      4096 Jan 26 19:10 arch-summit-dbg-gnu-cuda<br><div> ....</div><div><br></div><div>and</div><div><br></div><div>13:11 main= crusher:/gpfs/alpine/csc314/scratch/adams/petsc2$ git fetch<br>remote: Enumerating objects: 648, done.<br>remote: Counting objects: 100% (547/547), done.<br>remote: Compressing objects: 100% (238/238), done.<br>remote: Total 648 (delta 379), reused 442 (delta 308), pack-reused 101<br>Receiving objects: 100% (648/648), 591.28 KiB | 1.38 MiB/s, done.<br>Resolving deltas: 100% (402/402), completed with 114 local objects.<br>error: cannot update the ref 'refs/remotes/origin/main': unable to append to '.git/logs/refs/remotes/origin/main': Cannot allocate memory<br>From <a href="https://gitlab.com/petsc/petsc">https://gitlab.com/petsc/petsc</a><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jan 28, 2022 at 1:07 PM Mark Adams <<a href="mailto:mfadams@lbl.gov">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Crusher has been giving me fits and now I get this error (empty log)<div><br></div><div>13:01 main *= crusher:/gpfs/alpine/csc314/scratch/adams/petsc$ ../arch-olcf-crusher.py<br>Traceback (most recent call last):<br>  File "../arch-olcf-crusher.py", line 55, in <module><br>    configure.petsc_configure(configure_options)<br>AttributeError: module 'configure' has no attribute 'petsc_configure'<br></div><div><br></div><div>This is a modified version of the repo configure file. This was working this AM.</div><div>Any idea what could cause this?</div><div><br></div><div>Thanks,</div><div>Mark</div><div><br></div><div>#!/usr/bin/python3<br><br>#  Modules loaded by default (on login to Crusher):<br>#<br># 1) craype-x86-trento                       9) cce/13.0.0<br># 2) libfabric/<a href="http://1.13.0.0" target="_blank">1.13.0.0</a>                     10) craype/2.7.13<br># 3) craype-network-ofi                     11) cray-dsmml/0.2.2<br># 4) perftools-base/21.12.0                 12) cray-libsci/<a href="http://21.08.1.2" target="_blank">21.08.1.2</a><br># 5) xpmem/2.3.2-2.2_1.16__g9ea452c.shasta  13) PrgEnv-cray/8.2.0<br># 6) cray-pmi/6.0.16                        14) DefApps/default<br># 7) cray-pmi-lib/6.0.16                    15) rocm/4.5.0<br># 8) tmux/3.2a                              16) cray-mpich/8.1.12<br>#<br># We use Cray Programming Environment, Cray compilers, Cray-mpich.<br># To enable GPU-aware MPI, one has to also set this environment variable<br>#<br># export MPICH_GPU_SUPPORT_ENABLED=1<br>#<br># Additional note: If "craype-accel-amd-gfx90a" module is loaded (that is<br># needed for "OpenMP offload") - it causes link errors when using 'cc or hipcc'<br># with fortran objs, hence not used<br>#<br><br>if __name__ == '__main__':<br>  import sys<br>  import os<br>  sys.path.insert(0, os.path.abspath('config'))<br>  import configure<br>  configure_options = [<br>    '--with-cc=cc',<br>    '--with-cxx=CC',<br>    '--with-fc=ftn',<br>    '--COPTFLAGS=-g -ggdb',<br>    '--CXXOPTFLAGS=-g -ggdb',<br>    '--FOPTFLAGS=-g',<br>    '--with-fortran-bindings=0',<br>    'LIBS=-L{x}/gtl/lib -lmpi_gtl_hsa'.format(x=os.environ['CRAY_MPICH_ROOTDIR']),<br>    '--with-debugging=1',<br>    #'--with-64-bit-indices=1',<br>    '--with-mpiexec=srun -p batch -N 1 -A csc314_crusher -t 00:10:00',<br>    '--with-hip',<br>    '--with-hipc=hipcc',<br>    '--download-hypre',<br>    #'--download-hypre-commit=HEAD',<br>    #'--download-hypre-configure-arguments=--enable-unified-memory',<br>    #'--with-hypre-gpuarch=gfx90a',<br>    '--with-hip-arch=gfx90a',<br>    '--download-kokkos',<br>    '--download-kokkos-kernels',<br>    #'--with-kokkos-kernels-tpl=1',<br>    #'--prefix=/gpfs/alpine/world-shared/geo127/petsc/arch-crusher-opt-cray', # /gpfs/alpine/phy122/proj-shared/petsc/current/arch-opt-amd-hypre',<br>  ]<br>  configure.petsc_configure(configure_options)<br><br></div><div><br></div></div>
</blockquote></div>