<div dir="ltr">transient failure. works now.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 24, 2022 at 10:13 PM Mark Adams <<a href="mailto:mfadams@lbl.gov">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I was working on Crusher yesterday and I think I rebased over main and now I am hanging here.<div><br></div><div>Any ideas?</div><div><br></div><div>(gdb) bt<br>#0  0x00007fff81bd5547 in sched_yield () from /lib64/libc.so.6<br>#1  0x00007fff79e43665 in ?? () from /opt/rocm-5.1.0/hsa/lib/libhsa-runtime64.so.1<br>#2  0x00007fff79e382f4 in ?? () from /opt/rocm-5.1.0/hsa/lib/libhsa-runtime64.so.1<br>#3  0x00007fff79e46bff in ?? () from /opt/rocm-5.1.0/hsa/lib/libhsa-runtime64.so.1<br>#4  0x00007fff79e7cd07 in ?? () from /opt/rocm-5.1.0/hsa/lib/libhsa-runtime64.so.1<br>#5  0x00007fff79e8183d in ?? () from /opt/rocm-5.1.0/hsa/lib/libhsa-runtime64.so.1<br>#6  0x00007fff79e822a3 in ?? () from /opt/rocm-5.1.0/hsa/lib/libhsa-runtime64.so.1<br>#7  0x00007fff79e553a4 in ?? () from /opt/rocm-5.1.0/hsa/lib/libhsa-runtime64.so.1<br>#8  0x00007fff8a837f0b in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#9  0x00007fff8a7f6843 in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#10 0x00007fff8a7f68af in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#11 0x00007fff8a8205c4 in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#12 0x00007fff8a7f5180 in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#13 0x00007fff8a82e261 in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#14 0x00007fff8a872100 in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#15 0x00007fff8a843efd in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#16 0x00007fff8a82a253 in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#17 0x00007fff8a818890 in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#18 0x00007fff8a7a09f1 in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#19 0x00007fff8a7a0d00 in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#20 0x00007fff8a676f4e in ?? () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#21 0x00007fff8a726575 in hipMemcpy () from /opt/rocm-5.1.0/lib/libamdhip64.so.5<br>#22 0x00007fffec390194 in Petsc::Device::CUPM::Impl::Interface<(Petsc::Device::CUPM::DeviceType)1>::PetscAliasFunctionDispatch_460_hipMemcpy<int*&, int const (&) [2], unsigned long const&, hipMemcpyKind const&> (args=<optimized out>, args=<optimized out>, args=<optimized out>, args=<optimized out>)<br>    at include/petsc/private/cupminterface.hpp:460<br>#23 Petsc::Device::CUPM::Impl::Interface<(Petsc::Device::CUPM::DeviceType)1>::cupmMemcpy<int*&, int const (&) [2], unsigned long const&, hipMemcpyKind const&> (args=<optimized out>, args=<optimized out>, args=<optimized out>, args=<optimized out>) at include/petsc/private/cupminterface.hpp:460<br>#24 Petsc::Device::CUPM::Device<(Petsc::Device::CUPM::DeviceType)1>::DeviceInternal::CUPMAwareMPI_ () at src/sys/objects/device/impls/cupm/cupmdevice.cxx:184<br>#25 0x00007fffec38ee3d in Petsc::Device::CUPM::Device<(Petsc::Device::CUPM::DeviceType)1>::DeviceInternal::initialize (this=<optimized out>) at src/sys/objects/device/impls/cupm/cupmdevice.cxx:85<br>#26 0x00007fffec38fea0 in Petsc::Device::CUPM::Device<(Petsc::Device::CUPM::DeviceType)1>::getDevice (this=0x7fffed56b928 <HIPDevice>, device=0xe76f10, id=<optimized out>) at src/sys/objects/device/impls/cupm/cupmdevice.cxx:410<br>#27 0x00007fffec38cfa1 in PetscDeviceCreate (type=PETSC_DEVICE_HIP, devid=-1, device=device@entry=0x7fffed58b230 <defaultDevices+16>) at src/sys/objects/device/interface/device.cxx:130<br>#28 0x00007fffec38d382 in PetscDeviceInitializeDefaultDevice_Internal (type=14723904, defaultDeviceId=0, defaultDeviceId@entry=-1) at src/sys/objects/device/interface/device.cxx:313<br>#29 0x00007fffec38e157 in PetscDeviceInitialize (type=PETSC_DEVICE_HIP) at src/sys/objects/device/interface/device.cxx:274<br>#30 PetscDeviceGetDefaultForType_Internal (type=PETSC_DEVICE_HIP, device=0x7fffffff49c0) at src/sys/objects/device/interface/device.cxx:493<br>#31 0x00007fffec38aad7 in PetscDeviceContextSetDefaultDeviceForType_Internal (dctx=0xe58da0, type=14723904) at include/petsc/private/deviceimpl.h:241<br>#32 0x00007fffec38b89d in PetscDeviceContextSetupGlobalContext_Private () at src/sys/objects/device/interface/dcontext.cxx:674<br>#33 PetscDeviceContextGetCurrentContext (dctx=0x7fffffff4a78) at src/sys/objects/device/interface/dcontext.cxx:705<br>#34 0x00007fffec4a2a16 in PetscKokkosInitializeCheck () at src/sys/objects/kokkos/kinit.kokkos.cxx:31<br>#35 0x00007fffec6c7f61 in VecCreate_SeqKokkos (v=0xe787f0) at src/vec/vec/impls/seq/kokkos/veckok.kokkos.cxx:1142<br>#36 0x00007fffec58d37c in VecSetType (vec=0xe787f0, method=<optimized out>) at src/vec/vec/interface/vecreg.c:92<br>#37 0x00007fffec6ac017 in VecCreate_Kokkos (v=0xe787f0) at src/vec/vec/impls/mpi/kokkos/mpikok.kokkos.cxx:476<br>#38 0x00007fffec58d37c in VecSetType (vec=0xe787f0, method=<optimized out>) at src/vec/vec/interface/vecreg.c:92<br>#39 0x00007fffecbc7d75 in DMCreateGlobalVector_Section_Private (dm=0xe068a0, vec=0x7fffffff5d80) at src/dm/interface/dmi.c:57<br>#40 0x00007fffece8d6a0 in DMCreateGlobalVector_p4est (dm=0xe0ab40, vec=0x7fffffff5d80) at src/dm/impls/forest/p4est/pforest.h:4929<br>#41 0x00007fffecba5d45 in DMCreateGlobalVector (dm=0xe068a0, vec=0x0, vec@entry=0x7fffffff5d80) at src/dm/interface/dm.c:997<br>#42 0x00007fffed4292d1 in DMPlexLandauCreateVelocitySpace (comm=1140850688, dim=2, prefix=<optimized out>, X=X@entry=0x7fffffff5df8, J=J@entry=0x7fffffff5e40, pack=pack@entry=0x7fffffff5e60) at src/ts/utils/dmplexlandau/plexland.c:2086<br>#43 0x0000000000205063 in main (argc=63, argv=0x7fffffff6368) at ex2.c:679<br>(gdb)<br></div></div>
</blockquote></div>