<div dir="ltr"><div>We are on RHEL 8, using modules that we can load/unload various version of packages/libraries, and I have OpenMPI 4.1.1 with CUDA aware loaded along with GDAL 3.3.0, GCC 10.2.0, and cmake 3.22.1<br></div><div><br></div><div><font face="monospace">make PETSC_DIR=/path/to/petsc PETSC_ARCH=arch-linux-c-debug check</font> <br class="gmail-Apple-interchange-newline"><font face="monospace">fails with the below errors,<br>Running check examples to verify correct installation</font></div><div><font face="monospace"><br>Using PETSC_DIR=/path/to/petsc and PETSC_ARCH=arch-linux-c-debug<br>Possible error running C/C++ src/snes/tutorials/ex19 with 1 MPI process<br>See <a href="https://petsc.org/release/faq/">https://petsc.org/release/faq/</a><br>--------------------------------------------------------------------------<br>The library attempted to open the following supporting CUDA libraries,<br>but each of them failed.  CUDA-aware support is disabled.<br>libcuda.so.1: cannot open shared object file: No such file or directory<br>libcuda.dylib: cannot open shared object file: No such file or directory<br>/usr/lib64/libcuda.so.1: cannot open shared object file: No such file or directory<br>/usr/lib64/libcuda.dylib: cannot open shared object file: No such file or directory<br>If you are not interested in CUDA-aware support, then run with<br>--mca opal_warn_on_missing_libcuda 0 to suppress this message.  If you are interested<br>in CUDA-aware support, then try setting LD_LIBRARY_PATH to the location<br>of libcuda.so.1 to get passed this issue.<br>--------------------------------------------------------------------------<br>--------------------------------------------------------------------------<br>WARNING: There was an error initializing an OpenFabrics device.<br><br>  Local host:   g117<br>  Local device: mlx5_0<br>--------------------------------------------------------------------------<br>lid velocity = 0.0016, prandtl # = 1., grashof # = 1.<br>Number of SNES iterations = 2<br>Possible error running C/C++ src/snes/tutorials/ex19 with 2 MPI processes<br>See <a href="https://petsc.org/release/faq/">https://petsc.org/release/faq/</a><br><br>The library attempted to open the following supporting CUDA libraries,<br>but each of them failed.  CUDA-aware support is disabled.<br>libcuda.so.1: cannot open shared object file: No such file or directory<br>libcuda.dylib: cannot open shared object file: No such file or directory<br>/usr/lib64/libcuda.so.1: cannot open shared object file: No such file or directory<br>/usr/lib64/libcuda.dylib: cannot open shared object file: No such file or directory<br>If you are not interested in CUDA-aware support, then run with<br>--mca opal_warn_on_missing_libcuda 0 to suppress this message.  If you are interested in CUDA-aware support, then try setting LD_LIBRARY_PATH to the locationof libcuda.so.1 to get passed this issue.<br><br>WARNING: There was an error initializing an OpenFabrics device.<br><br>  Local host:   xxx<br>  Local device: mlx5_0<br><br>lid velocity = 0.0016, prandtl # = 1., grashof # = 1.<br>Number of SNES iterations = 2<br>[g117:4162783] 1 more process has sent help message help-mpi-common-cuda.txt / dlopen failed<br>[g117:4162783] Set MCA parameter "orte_base_help_aggregate" to 0 to see all help / error messages<br>[g117:4162783] 1 more process has sent help message help-mpi-btl-openib.txt / error in device init<br>Completed test examples<br>Error while running make check<br>gmake[1]: *** [makefile:149: check] Error 1<br>make: *** [GNUmakefile:17: check] Error 2</font><br></div><div><br></div>Where is $MPI_RUN set? I'd like to be able to pass options such as <font face="monospace">--mca orte_base_help_aggregate 0 --mca opal_warn_on_missing_libcuda 0 -mca pml ucx --mca btl '^openib' </font><font face="arial, sans-serif">which will help me troubleshoot and hide unneeded warnings.</font><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">Thanks,</font></div><div><font face="arial, sans-serif">Rob</font></div></div>