<div dir="ltr"><div dir="ltr"></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Jan 19, 2022 at 11:39 AM Jacob Faibussowitsch <<a href="mailto:jacob.fai@gmail.com">jacob.fai@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">Are you running on login nodes or compute nodes (I can’t seem to tell from the configure.log)?</div></blockquote><div><br>I was compiling codes on login nodes, and running codes on compute nodes. Login nodes do not have GPUs, but compute nodes do have GPUs.<br><br>Just to be clear, the same thing (code, machine) with PETSc-3.16.1 worked perfectly. I have this trouble with PETSc-main. </div><div><br></div><div>I might do "git bisect" when I have time </div><div><br></div><div>Thanks,<br><br>Fande<br><br><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"> If running from login nodes, do they support running with GPU’s? Some clusters will install stub versions of cuda runtime on login nodes (such that configuration can find them), but that won’t actually work in practice. <div><br></div><div>If this is the case then CUDA will fail to initialize with this exact error. IIRC It wasn’t until CUDA 11.1 that they created a specific error code (cudaErrorStubLibrary) for it.<div><br><div>
<div dir="auto" style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><div dir="auto" style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><div>Best regards,<br><br>Jacob Faibussowitsch<br>(Jacob Fai - booss - oh - vitch)<br></div></div></div>
</div>
<div><br><blockquote type="cite"><div>On Jan 19, 2022, at 12:07, Fande Kong <<a href="mailto:fdkong.jd@gmail.com" target="_blank">fdkong.jd@gmail.com</a>> wrote:</div><br><div><div dir="ltr">Thanks, Jacob, and Junchao<br><br>The log was attached.  I am using Sawtooth at INL <a href="https://hpc.inl.gov/SitePages/Home.aspx" target="_blank">https://hpc.inl.gov/SitePages/Home.aspx</a><br><br><br>Thanks,<br><br>Fande</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Jan 19, 2022 at 10:32 AM Jacob Faibussowitsch <<a href="mailto:jacob.fai@gmail.com" target="_blank">jacob.fai@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Hi Fande,<div><br></div><div>What machine are you running this on? Please attach configure.log so I can troubleshoot this.</div><div><br><div>
<div dir="auto" style="letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><div dir="auto" style="letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><div>Best regards,<br><br>Jacob Faibussowitsch<br>(Jacob Fai - booss - oh - vitch)<br></div></div></div>
</div>
<div><br><blockquote type="cite"><div>On Jan 19, 2022, at 10:04, Fande Kong <<a href="mailto:fdkong.jd@gmail.com" target="_blank">fdkong.jd@gmail.com</a>> wrote:</div><br><div><div dir="ltr">Hi All,<br><br>Upgraded PETSc from 3.16.1 to the current main branch. I suddenly got the following error message:<br><br>2d_diffusion]$ ../../../moose_test-dbg -i 2d_diffusion_test.i -use_gpu_aware_mpi 0 -gpu_mat_type aijcusparse -gpu_vec_type cuda  -log_view <br>[0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------<br>[0]PETSC ERROR: Missing or incorrect user input <br>[0]PETSC ERROR: Cannot eagerly initialize cuda, as doing so results in cuda error 35 (cudaErrorInsufficientDriver) : CUDA driver version is insufficient for CUDA runtime version<br>[0]PETSC ERROR: See <a href="https://petsc.org/release/faq/" target="_blank">https://petsc.org/release/faq/</a> for trouble shooting.<br>[0]PETSC ERROR: Petsc Development GIT revision: v3.16.3-618-gad32f7e  GIT Date: 2022-01-18 16:04:31 +0000<br>[0]PETSC ERROR: ../../../moose_test-dbg on a arch-linux-c-opt named r8i3n0 by kongf Wed Jan 19 08:30:13 2022<br>[0]PETSC ERROR: Configure options --with-debugging=no --with-shared-libraries=1 --download-fblaslapack=1 --download-metis=1 --download-ptscotch=1 --download-parmetis=1 --download-mumps=1 --download-strumpack=1 --download-scalapack=1 --download-slepc=1 --with-mpi=1 --with-cxx-dialect=C++14 --with-fortran-bindings=0 --with-sowing=0 --with-64-bit-indices --with-make-np=24 --with-cuda --with-cudac=nvcc --with-cuda-arch=70 --download-kokkos=1<br>[0]PETSC ERROR: #1 initialize() at /home/kongf/workhome/sawtooth/moosegpu/petsc/src/sys/objects/device/impls/cupm/cupmdevice.cxx:298<br>[0]PETSC ERROR: #2 PetscDeviceInitializeTypeFromOptions_Private() at /home/kongf/workhome/sawtooth/moosegpu/petsc/src/sys/objects/device/interface/device.cxx:299<br>[0]PETSC ERROR: #3 PetscDeviceInitializeFromOptions_Internal() at /home/kongf/workhome/sawtooth/moosegpu/petsc/src/sys/objects/device/interface/device.cxx:425<br>[0]PETSC ERROR: #4 PetscInitialize_Common() at /home/kongf/workhome/sawtooth/moosegpu/petsc/src/sys/objects/pinit.c:963<br>[0]PETSC ERROR: #5 PetscInitialize() at /home/kongf/workhome/sawtooth/moosegpu/petsc/src/sys/objects/pinit.c:1238<br>[0]PETSC ERROR: #6 SlepcInitialize() at /home/kongf/workhome/sawtooth/moosegpu/petsc/arch-linux-c-opt/externalpackages/git.slepc/src/sys/slepcinit.c:275<br>[0]PETSC ERROR: #7 LibMeshInit() at ../src/base/libmesh.C:522<br>[r8i3n0:mpi_rank_0][MPIDI_CH3_Abort] application called MPI_Abort(MPI_COMM_WORLD, 95) - process 0: No such file or directory (2)<br><br>Thanks,<div><br>Fande</div></div>
</div></blockquote></div><br></div></div></blockquote></div>
<span id="gmail-m_7824590046360644867cid:f_kyluucf50"><configure.log></span></div></blockquote></div><br></div></div></div></blockquote></div></div>