<div dir="ltr"><div>it worked fine!</div><div><br></div><div>the previous output:</div><div><div><br></div><div>[alfredo.jaramillo@sdumont14 petsc]$ ldd arch-linux2-c-debug-actual/lib/libhwloc.so<br>   linux-vdso.so.1 =>  (0x00007ffde6f49000)<br>  libm.so.6 => /usr/lib64/libm.so.6 (0x00007fb8be4ed000)<br>     libXNVCtrl.so.0 => /usr/lib64/libXNVCtrl.so.0 (0x00007fb8be2e8000)<br> libXext.so.6 => /usr/lib64/libXext.so.6 (0x00007fb8be0d6000)<br>       libX11.so.6 => /usr/lib64/libX11.so.6 (0x00007fb8bdd98000)<br> libc.so.6 => /usr/lib64/libc.so.6 (0x00007fb8bd9cb000)<br>     /lib64/ld-linux-x86-64.so.2 (0x00007fb8bea4f000)<br>      libxcb.so.1 => /usr/lib64/libxcb.so.1 (0x00007fb8bd7a3000)<br> libdl.so.2 => /usr/lib64/libdl.so.2 (0x00007fb8bd59f000)<br>   libXau.so.6 => /usr/lib64/libXau.so.6 (0x00007fb8bd39b000)</div><div><br></div><div>the updated output:</div></div><div><br></div><div>[alfredo.jaramillo@sdumont14 petsc]$ ldd arch-linux2-c-debug-previous/lib/libhwloc.so<br>     linux-vdso.so.1 =>  (0x00007fff135c7000)<br>  libm.so.6 => /usr/lib64/libm.so.6 (0x00007f5ecd5f3000)<br>     libc.so.6 => /usr/lib64/libc.so.6 (0x00007f5ecd226000)<br>     /lib64/ld-linux-x86-64.so.2 (0x00007f5ecdb54000</div><div><br></div><div>I added the option --download-hwloc-configure-arguments="--disable-opencl --disable-cuda --disable-nvml --disable-gl" to my installation and pastix is working fine,</div><div><br></div><div>thank you very much</div><div>regards<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 6, 2020 at 6:39 PM Satish Balay <<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I pushed another change to branch balay/fix-hwloc-x-dependency/maint<br>
<br>
Can you check again?<br>
<br>
BTW: The following options don't make sense when using --with-mpi=0<br>
<br>
CPPFLAGS=-I/scratch/app/openmpi/4.0_gnu/include -I/scratch/app/mpc/1.0.3/include -I/scratch/app/isl/0.18/include -I/scratch/app/gcc/6.5/include LDFLAGS=-L/scratch/app/openmpi/4.0_gnu/lib -L/scratch/app/mpc/1.0.3/lib -L/scratch/app/isl/0.18/lib -L/scratch/app/gcc/6.5/lib64 -L/scratch/app/gcc/6.5/lib<br>
<br>
[And likely these options are missing appropriate quotes..]<br>
<br>
Satish<br>
<br>
On Mon, 6 Apr 2020, Alfredo Jaramillo wrote:<br>
<br>
> ops... you can find the attachments here<br>
> <a href="https://www.dropbox.com/sh/n8scz7wioe01t6p/AAC3P3iU1jLYsW6m3vs6S5DHa?dl=0" rel="noreferrer" target="_blank">https://www.dropbox.com/sh/n8scz7wioe01t6p/AAC3P3iU1jLYsW6m3vs6S5DHa?dl=0</a><br>
> <br>
> I got<br>
> <br>
> $ ldd minimal/lib/libhwloc.so<br>
> linux-vdso.so.1 =>  (0x00007fffcc3ae000)<br>
> libm.so.6 => /usr/lib64/libm.so.6 (0x00007ff0b90a2000)<br>
> libXNVCtrl.so.0 => /usr/lib64/libXNVCtrl.so.0 (0x00007ff0b8e9d000)<br>
> libXext.so.6 => /usr/lib64/libXext.so.6 (0x00007ff0b8c8b000)<br>
> libX11.so.6 => /usr/lib64/libX11.so.6 (0x00007ff0b894d000)<br>
> libc.so.6 => /usr/lib64/libc.so.6 (0x00007ff0b8580000)<br>
> /lib64/ld-linux-x86-64.so.2 (0x00007ff0b9604000)<br>
> libxcb.so.1 => /usr/lib64/libxcb.so.1 (0x00007ff0b8358000)<br>
> libdl.so.2 => /usr/lib64/libdl.so.2 (0x00007ff0b8154000)<br>
> libXau.so.6 => /usr/lib64/libXau.so.6 (0x00007ff0b7f50000)<br>
> <br>
> On Mon, Apr 6, 2020 at 6:02 PM Satish Balay <<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>> wrote:<br>
> <br>
> > The attachments didn't come through..<br>
> ><br>
> > >>>><br>
> > DENIAL OF SERVICE ALERT<br>
> ><br>
> > A denial of service protection limit was exceeded. The file has been<br>
> > removed.<br>
> > Context: 'hwloc-x11=no.tar.gz\hwloc-x11=no.tar'<br>
> > Reason: The data size limit was exceeded<br>
> > Limit: 10 MB<br>
> > Ticket Number : 0c20-5e8b-97c0-000f<br>
> > <<<<<<<br>
> ><br>
> > Can you retry the test below - i.e './configure --with-mpi=0<br>
> > --download-hwloc --with-x=0' - and see if this works?<br>
> ><br>
> > What do you get for ldd [as shown below]?<br>
> ><br>
> > Satish<br>
> ><br>
> > On Mon, 6 Apr 2020, Alfredo Jaramillo wrote:<br>
> ><br>
> > > I've tried two installations in that branch, a "full installation" with<br>
> > > every package I need, and a minimal one. I attach the results here, these<br>
> > > libraries are still being linked<br>
> > ><br>
> > > On Mon, Apr 6, 2020 at 4:41 PM Satish Balay <<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>> wrote:<br>
> > ><br>
> > > > Hm - its working for me on CentOS7 [I see you are using RHEL7/CentOS7]<br>
> > > ><br>
> > > ><br>
> > > > Can you try the branch balay/fix-hwloc-x-dependency/maint - and see<br>
> > what<br>
> > > > you get?<br>
> > > ><br>
> > > > [balay@petsc-c7 petsc:d409bfc]$ ./configure --with-mpi=0<br>
> > --download-hwloc<br>
> > > > --with-x=0<br>
> > > > <snip><br>
> > > > [balay@petsc-c7 petsc:d409bfc]$ ldd<br>
> > arch-linux2-c-debug/lib/libhwloc.so<br>
> > > ><br>
> > > ><br>
> > > >         linux-vdso.so.1 =>  (0x00007ffe88bae000)<br>
> > > >         libm.so.6 => /lib64/libm.so.6 (0x00007ff75c7b9000)<br>
> > > >         libc.so.6 => /lib64/libc.so.6 (0x00007ff75c3eb000)<br>
> > > >         /lib64/ld-linux-x86-64.so.2 (0x00007ff75cd1a000)<br>
> > > > [balay@petsc-c7 petsc:d409bfc]$ ./configure --with-mpi=0<br>
> > --download-hwloc<br>
> > > > --with-x=1<br>
> > > >                           <snip><br>
> > > > [balay@petsc-c7 petsc:d409bfc]$ ldd<br>
> > arch-linux2-c-debug/lib/libhwloc.so<br>
> > > ><br>
> > > ><br>
> > > >         linux-vdso.so.1 =>  (0x00007ffe129cc000)<br>
> > > >         libm.so.6 => /lib64/libm.so.6 (0x00007f89920fa000)<br>
> > > >         libX11.so.6 => /lib64/libX11.so.6 (0x00007f8991dbc000)<br>
> > > >         libc.so.6 => /lib64/libc.so.6 (0x00007f89919ee000)<br>
> > > >         /lib64/ld-linux-x86-64.so.2 (0x00007f899265b000)<br>
> > > >         libxcb.so.1 => /lib64/libxcb.so.1 (0x00007f89917c6000)<br>
> > > >         libdl.so.2 => /lib64/libdl.so.2 (0x00007f89915c2000)<br>
> > > >         libXau.so.6 => /lib64/libXau.so.6 (0x00007f89913be000)<br>
> > > > [balay@petsc-c7 petsc:d409bfc]$<br>
> > > ><br>
> > > > Satish<br>
> > > ><br>
> > > > On Mon, 6 Apr 2020, Alfredo Jaramillo wrote:<br>
> > > ><br>
> > > > > No, it doesn't work... I also tried --with-x=disabled. I gave a look<br>
> > to<br>
> > > > > ./configure --help in the hwloc directory and to the configure file<br>
> > > > itself,<br>
> > > > > but Im not finding the right option.<br>
> > > > ><br>
> > > > > On Mon, Apr 6, 2020 at 3:53 PM Satish Balay <<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>><br>
> > wrote:<br>
> > > > ><br>
> > > > > > Looks like the option is --with-x=no<br>
> > > > > ><br>
> > > > > > Can you give this a try? Branch balay/fix-hwloc-x-dependency/maint<br>
> > has<br>
> > > > > > this update now<br>
> > > > > ><br>
> > > > > > Satish<br>
> > > > > ><br>
> > > > > > On Mon, 6 Apr 2020, Alfredo Jaramillo wrote:<br>
> > > > > ><br>
> > > > > > > Hello Satish, Im sorry but I think I tested this workaround with<br>
> > the<br>
> > > > > > wrong<br>
> > > > > > > installation, my bad.<br>
> > > > > > > In fact the libXNVC, X11 libraries are still being linked even<br>
> > with<br>
> > > > the<br>
> > > > > > > --download-hwloc-configure-arguments=--without-x option<br>
> > > > > > ><br>
> > > > > > > Im attaching the config.log file located in<br>
> > > > > > > $PETSC_DIR/$PETSC_ARCH/externalpackages/hwloc-2.1.0<br>
> > > > > > > you can see that the option --without-x is there (line 7) but by<br>
> > > > means of<br>
> > > > > > > $ ldd foo<br>
> > > > > > > I see that the links are still there<br>
> > > > > > ><br>
> > > > > > > On Mon, Apr 6, 2020 at 2:57 PM Satish Balay <<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>><br>
> > > > wrote:<br>
> > > > > > ><br>
> > > > > > > > Great!<br>
> > > > > > > ><br>
> > > > > > > > Wrt pastix dependency on hwloc -<br>
> > > > > > > > config/BuildSystem/config/packages/PaStiX.py has the following<br>
> > > > comment:<br>
> > > > > > > ><br>
> > > > > > > >     # PaStiX.py does not absolutely require hwloc, but it<br>
> > performs<br>
> > > > > > better<br>
> > > > > > > > with it and can fail (in ways not easily tested) without it<br>
> > > > > > > >     #<br>
> > > > > > > ><br>
> > > > > ><br>
> > > ><br>
> > <a href="https://gforge.inria.fr/forum/forum.php?thread_id=32824&forum_id=599&group_id=186" rel="noreferrer" target="_blank">https://gforge.inria.fr/forum/forum.php?thread_id=32824&forum_id=599&group_id=186</a><br>
> > > > > > > >     #<br>
> > > > <a href="https://solverstack.gitlabpages.inria.fr/pastix/Bindings.html" rel="noreferrer" target="_blank">https://solverstack.gitlabpages.inria.fr/pastix/Bindings.html</a><br>
> > > > > > > ><br>
> > > > > > > > I have a fix in branch balay/fix-hwloc-x-dependency/maint [that<br>
> > > > does<br>
> > > > > > not<br>
> > > > > > > > need the extra --download-hwloc-configure-arguments=--without-x<br>
> > > > > > option].<br>
> > > > > > > > Can you give this a try?<br>
> > > > > > > ><br>
> > > > > > > > Satish<br>
> > > > > > > ><br>
> > > > > > > > On Mon, 6 Apr 2020, Alfredo Jaramillo wrote:<br>
> > > > > > > ><br>
> > > > > > > > > hello Satish,<br>
> > > > > > > > > adding<br>
> > > > > > > > > --download-hwloc-configure-arguments=--without-x<br>
> > > > > > > > > worked perfectly<br>
> > > > > > > > ><br>
> > > > > > > > > thank you!<br>
> > > > > > > > ><br>
> > > > > > > > > On Mon, Apr 6, 2020 at 2:12 PM Satish Balay <<br>
> > <a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>><br>
> > > > > > wrote:<br>
> > > > > > > > ><br>
> > > > > > > > > > you can try:<br>
> > > > > > > > > ><br>
> > > > > > > > > > --download-pastix --download-hwloc<br>
> > > > > > > > > > --download-hwloc-configure-arguments=--without-x<br>
> > > > > > > > > ><br>
> > > > > > > > > > We should fix this to automatically use --with-x=0/1<br>
> > > > > > > > > ><br>
> > > > > > > > > > Satish<br>
> > > > > > > > > ><br>
> > > > > > > > > > On Mon, 6 Apr 2020, Alfredo Jaramillo wrote:<br>
> > > > > > > > > ><br>
> > > > > > > > > > > hello everyone,<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > I have a fresh installation of the 3.13.0 version with<br>
> > > > pastix.<br>
> > > > > > Like<br>
> > > > > > > > with<br>
> > > > > > > > > > > previous versions, I'm using the options<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > --with-x11=0 --with-x=0 --with-windows-graphics=0<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > to disable X11<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > however, when compiling my program foo and doing<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > $ ldd foo<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > between the linked libraries there appear:<br>
> > > > > > > > > > > libXNVCtrl.so.0 and libX11.so.6<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > the first one related to NVIDIA. I observed that this<br>
> > does<br>
> > > > not<br>
> > > > > > happen<br>
> > > > > > > > > > when<br>
> > > > > > > > > > > installing PETSc without hwloc. In this new version,<br>
> > PETSc<br>
> > > > > > requires<br>
> > > > > > > > to<br>
> > > > > > > > > > > install hwloc when trying to install pastix. In previous<br>
> > > > > > versions of<br>
> > > > > > > > > > PETSc<br>
> > > > > > > > > > > (eg 3.11.2) that wasn't necessary.<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > I'm working in a cluster where I have no access to these<br>
> > > > > > X11-related<br>
> > > > > > > > > > > libraries and that's why I need them not be linked. Is it<br>
> > > > there<br>
> > > > > > some<br>
> > > > > > > > way<br>
> > > > > > > > > > to<br>
> > > > > > > > > > > disable X11 when installing hwloc? maybe enforcing some<br>
> > > > > > configuration<br>
> > > > > > > > > > > variables when installing it through petsc or installing<br>
> > it<br>
> > > > > > > > > > independently?<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > thanks a lot!<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > Below the configuration command of the two installations<br>
> > I've<br>
> > > > > > tried<br>
> > > > > > > > with<br>
> > > > > > > > > > > the 3.13.0 version.<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > =================== WITH PASTIX ===================<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > ./configure --with-make-np=20<br>
> > > > > > > > > > > --with-petsc-arch=x64go-3.13-openmpi-4.0.1-pastix-64<br>
> > > > > > > > --with-debugging=0<br>
> > > > > > > > > > > --doCleanup=0 \<br>
> > > > > > > > > > > --with-mpi=1 \<br>
> > > > > > > > > > > --with-valgrind=1<br>
> > > > > > > > --with-valgrind-dir=$PATH_TO_VALGRIND/valgrind-3.15.0 \<br>
> > > > > > > > > > > --download-scalapack \<br>
> > > > > > > > > > > --download-openblas \<br>
> > > > > > > > > > > --download-mumps \<br>
> > > > > > > > > > > --download-superlu_dist \<br>
> > > > > > > > > > > --download-metis \<br>
> > > > > > > > > > > --download-parmetis \<br>
> > > > > > > > > > > --download-ptscotch \<br>
> > > > > > > > > > > --download-hypre \<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > *--download-pastix \--download-hwloc \*<br>
> > > > > > > > > > > --with-64-bit-indices=1 \<br>
> > > > > > > > > > > LDFLAGS=$LDFLAGS CPPFLAGS=$CPPFLAGS \<br>
> > > > > > > > > > > --with-cxx-dialect=C++11 \<br>
> > > > > > > > > > > --with-x11=0 --with-x=0 --with-windows-graphics=0 \<br>
> > > > > > > > > > > COPTFLAGS="-O3 -march=native -mtune=native" \<br>
> > > > > > > > > > > CXXOPTFLAGS="-O3 -march=native -mtune=native" \<br>
> > > > > > > > > > > FOPTFLAGS="-O3 -march=native -mtune=native"<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > =================== WITHOUT PASTIX ===================<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > the same as above but the options "--download-pastix<br>
> > > > > > > > --download-hwloc"<br>
> > > > > > > > > > ><br>
> > > > > > > > > > > ======================================================<br>
> > > > > > > > > > ><br>
> > > > > > > > > ><br>
> > > > > > > > > ><br>
> > > > > > > > ><br>
> > > > > > > ><br>
> > > > > > > ><br>
> > > > > > ><br>
> > > > > ><br>
> > > > > ><br>
> > > > ><br>
> > > ><br>
> > > ><br>
> > ><br>
> ><br>
> ><br>
> <br>
<br>
</blockquote></div>