<div dir="ltr">After loading a cuda module ...</div><br><div class="gmail_quote"><div dir="ltr">On Wed, Oct 31, 2018 at 2:58 AM Mark Adams <<a href="mailto:mfadams@lbl.gov">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I get an error with --with-cuda=1</div><br><div class="gmail_quote"><div dir="ltr">On Tue, Oct 30, 2018 at 4:44 PM Smith, Barry F. <<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">--with-cudac=1 should be --with-cuda=1<br>
<br>
<br>
<br>
> On Oct 30, 2018, at 12:35 PM, Smith, Barry F. via petsc-dev <<a href="mailto:petsc-dev@mcs.anl.gov" target="_blank">petsc-dev@mcs.anl.gov</a>> wrote:<br>
> <br>
> <br>
> <br>
>> On Oct 29, 2018, at 8:09 PM, Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br>
>> <br>
>> And a debug build seems to work:<br>
> <br>
>    Well ok. <br>
> <br>
>    Are there newer versions of the Gnu compiler for this system? Are there any other compilers on the system that would likely be less buggy? IBM compilers? If this simple code generates a gross error with optimization who's to say how many more subtle bugs may be induced in the library by the buggy optimizer (there may be none but IMHO probability says there will be others). <br>
> <br>
>    Is there any chance that valgrind runs on this machine; you could run the optimized version through it and see what it says.<br>
> <br>
>   Barry<br>
> <br>
>> <br>
>> 21:04 1 master= /lustre/atlas/proj-shared/geo127/petsc$ make PETSC_DIR=/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda PETSC_ARCH="" test<br>
>> Running test examples to verify correct installation<br>
>> Using PETSC_DIR=/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda and PETSC_ARCH=<br>
>> *******************Error detected during compile or link!*******************<br>
>> See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
>> /lustre/atlas/proj-shared/geo127/petsc/src/snes/examples/tutorials ex19<br>
>> *********************************************************************************<br>
>> cc -o ex19.o -c -g   -I/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/include    `pwd`/ex19.c<br>
>> cc -g  -o ex19 ex19.o  -L/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib -Wl,-rpath,/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib -L/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib -lpetsc -lHYPRE -lflapack -lfblas -lparmetis -lmetis -ldl<br>
>> /lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib/libpetsc.a(dlimpl.o): In function `PetscDLOpen':<br>
>> /lustre/atlas1/geo127/proj-shared/petsc/src/sys/dll/dlimpl.c:108: warning: Using 'dlopen' in statically linked applications requires at runtime the shared libraries from the glibc version used for linking<br>
>> /lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib/libpetsc.a(send.o): In function `PetscOpenSocket':<br>
>> /lustre/atlas1/geo127/proj-shared/petsc/src/sys/classes/viewer/impls/socket/send.c:108: warning: Using 'gethostbyname' in statically linked applications requires at runtime the shared libraries from the glibc version used for linking<br>
>> true ex19<br>
>> rm ex19.o<br>
>> Possible error running C/C++ src/snes/examples/tutorials/ex19 with 1 MPI process<br>
>> See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
>> lid velocity = 0.0016, prandtl # = 1., grashof # = 1.<br>
>> Number of SNES iterations = 2<br>
>> Application 19081049 resources: utime ~1s, stime ~1s, Rss ~17112, inblocks ~36504, outblocks ~111043<br>
>> Possible error running C/C++ src/snes/examples/tutorials/ex19 with 2 MPI processes<br>
>> See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
>> lid velocity = 0.0016, prandtl # = 1., grashof # = 1.<br>
>> Number of SNES iterations = 2<br>
>> Application 19081050 resources: utime ~1s, stime ~1s, Rss ~19816, inblocks ~36527, outblocks ~111043<br>
>> 5a6<br>
>>> Application 19081051 resources: utime ~1s, stime ~0s, Rss ~13864, inblocks ~36527, outblocks ~111043<br>
>> /lustre/atlas/proj-shared/geo127/petsc/src/snes/examples/tutorials<br>
>> Possible problem with ex19_hypre, diffs above<br>
>> =========================================<br>
>> *******************Error detected during compile or link!*******************<br>
>> See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
>> /lustre/atlas/proj-shared/geo127/petsc/src/snes/examples/tutorials ex5f<br>
>> *********************************************************<br>
>> ftn -c -g    -I/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/include    -o ex5f.o ex5f.F90<br>
>> ftn -g   -o ex5f ex5f.o  -L/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib -Wl,-rpath,/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib -L/lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib -lpetsc -lHYPRE -lflapack -lfblas -lparmetis -lmetis -ldl<br>
>> /lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib/libpetsc.a(dlimpl.o): In function `PetscDLOpen':<br>
>> /lustre/atlas1/geo127/proj-shared/petsc/src/sys/dll/dlimpl.c:108: warning: Using 'dlopen' in statically linked applications requires at runtime the shared libraries from the glibc version used for linking<br>
>> /lustre/atlas/proj-shared/geo127/petsc_titan_dbg64idx_gnu_cuda/lib/libpetsc.a(send.o): In function `PetscOpenSocket':<br>
>> /lustre/atlas1/geo127/proj-shared/petsc/src/sys/classes/viewer/impls/socket/send.c:108: warning: Using 'gethostbyname' in statically linked applications requires at runtime the shared libraries from the glibc version used for linking<br>
>> rm ex5f.o<br>
>> Possible error running Fortran example src/snes/examples/tutorials/ex5f with 1 MPI process<br>
>> See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
>> Number of SNES iterations =     4<br>
>> Application 19081055 resources: utime ~1s, stime ~0s, Rss ~12760, inblocks ~36800, outblocks ~111983<br>
>> Completed test examples<br>
>> 21:06 master= /lustre/atlas/proj-shared/geo127/petsc$ <br>
> <br>
<br>
</blockquote></div>
</blockquote></div>