<br><br>On Sunday, February 28, 2016, Satish Balay <<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">This build is using gnu compilers with MKL. And PETSc configure<br>
doesn't guess compiler shortcuts like -mlk [or -framework Veclib] type<br>
options..</blockquote><div><br></div><div>Sounds like a BS design by Matt :-)</div><div><br></div><div>Jeff <span></span></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Satish<br>
<br>
On Sun, 28 Feb 2016, Jeff Hammond wrote:<br>
<br>
> On Sunday, February 28, 2016, Matthew Knepley <<a href="javascript:;" onclick="_e(event, 'cvml', 'knepley@gmail.com')">knepley@gmail.com</a>> wrote:<br>
><br>
> > On Sun, Feb 28, 2016 at 3:12 PM, Barry Smith <<a href="javascript:;" onclick="_e(event, 'cvml', 'bsmith@mcs.anl.gov')">bsmith@mcs.anl.gov</a><br>
> > <javascript:_e(%7B%7D,'cvml','<a href="javascript:;" onclick="_e(event, 'cvml', 'bsmith@mcs.anl.gov')">bsmith@mcs.anl.gov</a>');>> wrote:<br>
> ><br>
> >><br>
> >>   Satish,<br>
> >><br>
> >>    Yeah, hypre totally botched its implementation of a way to check for<br>
> >> the blas/lapack libraries. I've iterated with them several times on the<br>
> >> basic problem but they keep patching what they do, rather then discard all<br>
> >> their incorrect code and handle it simply as they should.<br>
> ><br>
> ><br>
> > I'm sure it would have worked if they had used CMake ;)<br>
> ><br>
> ><br>
> Intel compilers need only "-mkl" unless you want threaded ScaLAPACK. Works<br>
> for both shared and static linking.<br>
><br>
> I haven't tried but does "-lmkl" (plus appropriate LD_LIBRARY_PATH) not<br>
> work with shared linking?<br>
><br>
> As far as I know, static linking of MKL with non-Intel compiler is the only<br>
> hard case for build systems.<br>
><br>
> Obviously, CMake and C++11 are the only way to solve this problem :-D<br>
><br>
> Jeff<br>
><br>
><br>
> >    Matt<br>
> ><br>
> ><br>
> >><br>
> >>    Barry<br>
> >><br>
> >> > On Feb 28, 2016, at 3:00 PM, Satish Balay <<a href="javascript:;" onclick="_e(event, 'cvml', 'balay@mcs.anl.gov')">balay@mcs.anl.gov</a><br>
> >> <javascript:_e(%7B%7D,'cvml','<a href="javascript:;" onclick="_e(event, 'cvml', 'balay@mcs.anl.gov')">balay@mcs.anl.gov</a>');>> wrote:<br>
> >> ><br>
> >> > Executing: cd<br>
> >> /pmi/cmpbib/compilation_BIB_gcc_redhat_petsc-master_debug/COMPILE_AUTO/petsc-master-debug/arch-linux2-c-debug/externalpackages/git.hypre/src<br>
> >> && ./configure --prefix=/opt/petsc-master_debug MAKE=/bin/gmake<br>
> >> --libdir=/opt/petsc-master_debug/lib CC="/opt/openmpi-1.10.2/bin/mpicc"<br>
> >> CFLAGS="-fPIC -g3" CXX="/opt/openmpi-1.10.2/bin/mpicxx" CXXFLAGS="-g -fPIC"<br>
> >> F90="/opt/openmpi-1.10.2/bin/mpif90" F90FLAGS="-fPIC -ffree-line-length-0<br>
> >> -g" F77="/opt/openmpi-1.10.2/bin/mpif90" FFLAGS="-fPIC -ffree-line-length-0<br>
> >> -g" FC="/opt/openmpi-1.10.2/bin/mpif90" FCFLAGS="-fPIC -ffree-line-length-0<br>
> >> -g" --with-MPI-include="/opt/openmpi-1.10.2/include" --with-MPI-lib-dirs=""<br>
> >> --with-MPI-libs=""<br>
> >> --with-blas-lib="-Wl,-rpath,/opt/intel/composerxe/mkl/lib/intel64<br>
> >> -L/opt/intel/composerxe/mkl/lib/intel64 -lmkl_intel_lp64 -lmkl_core<br>
> >> -lmkl_intel_thread -liomp5 -ldl -lpthread -lm<br>
> >> -Wl,-rpath,/opt/openmpi-1.10.2/lib -L/opt/openmpi-1.10.2/lib<br>
> >> -Wl,-rpath,/usr/lib/gcc/x86_64-redhat-linux/4.8.5<br>
> >> -L/usr/lib/gcc/x86_64-redhat-linux/4.8.5<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/compiler/lib/intel64<br>
> >> -L/opt/intel/composer_xe_2015.2.164/compiler/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/ipp/lib/intel64<br>
> >> -L/opt/intel/composer_xe_2015.2.164/ipp/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/mkl/lib/intel64<br>
> >> -L/opt/intel/composer_xe_2015.2.164/mkl/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/tbb/lib/intel64/gcc4.4<br>
> >> -L/opt/intel/composer_xe_2015.2.164/tbb/lib/intel64/gcc4.4 -lmpi_usempi<br>
> >> -lmpi_mpifh -lgfortran -lm -Wl,-rpath,/opt/openmpi-1.10.2/lib<br>
> >> -Wl,-rpath,/usr/lib/gcc/x86_64-redhat-linux/4.8.5<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/compiler/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/ipp/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/mkl/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/tbb/lib/intel64/gcc4.4<br>
> >> -lgfortran -lm -lquadmath -lm" --with-lapack-lib=" " --with-blas=no<br>
> >> --with-lapack=no --with-fmangle-blas=one-underscore<br>
> >> --with-fmangle-lapack=one-underscore --without-mli --without-fei<br>
> >> --without-superlu AR="/bin/ar cr"<br>
> >> ><br>
> >> > checking for dgemm_ in -lm... no<br>
> >> > checking for dgemm_ in -lquadmath... no<br>
> >> > checking for dgemm_ in -lm... (cached) no<br>
> >> > checking for dgemm_ in -lgfortran... no<br>
> >> > checking for dgemm_ in -linux/<a href="http://4.8.5." target="_blank">4.8.5.</a>.. no<br>
> >> > checking for dgemm_ in -lm... (cached) no<br>
> >> > checking for dgemm_ in -lgfortran... (cached) no<br>
> >> > checking for dgemm_ in -lmpi_mpifh... no<br>
> >> > checking for dgemm_ in -lmpi_usempi... no<br>
> >> > checking for dgemm_ in -linux/<a href="http://4.8.5." target="_blank">4.8.5.</a>.. (cached) no<br>
> >> > checking for dgemm_ in -lm... (cached) no<br>
> >> > checking for dgemm_ in -lpthread... no<br>
> >> > checking for dgemm_ in -ldl... no<br>
> >> > checking for dgemm_ in -liomp5... no<br>
> >> > checking for dgemm_ in -lmkl_intel_thread... no<br>
> >> > checking for dgemm_ in -lmkl_core... no<br>
> >> > checking for dgemm_ in -lmkl_intel_lp64... noconfigure: error:<br>
> >> **************** Non-linkable blas library error:<br>
> >> ***************************<br>
> >> >      User set BLAS library path using either --with-blas-lib=<lib>, or<br>
> >> >      --with-blas-libs=<blas_lib_base_name> and<br>
> >> --with-blas_dirs=<path-to-blas-lib>,<br>
> >> >      but -L/opt/intel/composer_xe_2015.2.164/tbb/lib/intel64/gcc4.4<br>
> >> -L/opt/intel/composer_xe_2015.2.164/mkl/lib/intel64<br>
> >> -L/opt/intel/composer_xe_2015.2.164/ipp/lib/intel64<br>
> >> -L/opt/intel/composer_xe_2015.2.164/compiler/lib/intel64<br>
> >> -L/usr/lib/gcc/x86_64-redhat-linux/4.8.5 -L/opt/openmpi-1.10.2/lib<br>
> >> -L/opt/intel/composerxe/mkl/lib/intel64  -lm -lquadmath -lm -lgfortran<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/tbb/lib/intel64/gcc4.4<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/mkl/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/ipp/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/compiler/lib/intel64<br>
> >> -Wl,-rpath,/usr/lib/gcc/x86_64-redhat-linux/4.8.5<br>
> >> -Wl,-rpath,/opt/openmpi-1.10.2/lib -lm -lgfortran -lmpi_mpifh -lmpi_usempi<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/tbb/lib/intel64/gcc4.4<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/mkl/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/ipp/lib/intel64<br>
> >> -Wl,-rpath,/opt/intel/composer_xe_2015.2.164/compiler/lib/intel64<br>
> >> -Wl,-rpath,/usr/lib/gcc/x86_64-redhat-linux/4.8.5<br>
> >> -Wl,-rpath,/opt/openmpi-1.10.2/lib -lm -lpthread -ldl -liomp5<br>
> >> -lmkl_intel_thread -lmkl_core -lmkl_intel_lp64<br>
> >> -Wl,-rpath,/opt/intel/composerxe/mkl/lib/intel64  provided cannot be used.<br>
> >> See "configure --help" for usage details.<br>
> >> ><br>
> >> *****************************************************************************************<br>
> >> ><br>
> >> *******************************************************************************<br>
> >> ><br>
> >> ><br>
> >> > Hm - instead of using all the libs from --with-blas-libs in a single<br>
> >> > link command - hypre is checking one '-llibrary' form this list at a<br>
> >> > time? [including -linux/4.8.5 which is from a -L option]<br>
> >> ><br>
> >> ><br>
> >> > '-lm -lpthread -ldl -liomp5 -lmkl_intel_thread -lmkl_core<br>
> >> -lmkl_intel_lp64' ?<br>
> >> ><br>
> >> > Is hypre configure reversing the arguments it got? Its changed from<br>
> >> ><br>
> >> > --with-blas-lib='... -lmkl_intel_lp64 -lmkl_core -lmkl_intel_thread<br>
> >> -liomp5 -ldl -lpthread -lm ...'<br>
> >> ><br>
> >> > I can reproduce this issue locally with:<br>
> >> ><br>
> >> > ./configure --download-hypre PETSC_ARCH=arch-hypre<br>
> >> --with-blas-lapack-dir=/soft/com/packages/intel/15/update3/mkl<br>
> >> --with-sowing=0<br>
> >> ><br>
> >> > Satish<br>
> >> ><br>
> >> > On Sun, 28 Feb 2016, Eric Chamberland wrote:<br>
> >> ><br>
> >> >> Hi Barry,<br>
> >> >><br>
> >> >> the configuration of hypre looks broken since last night...?<br>
> >> >><br>
> >> >> Here is the log issued from our automatic compilation of<br>
> >> petsc-master.tar.gz<br>
> >> >> at 2016-02-28 02h00:<br>
> >> >><br>
> >> >><br>
> >> <a href="http://www.giref.ulaval.ca/~cmpgiref/petsc-master-debug/configure_20160228_0200.log" target="_blank">http://www.giref.ulaval.ca/~cmpgiref/petsc-master-debug/configure_20160228_0200.log</a><br>
> >> >><br>
> >> >> Everything was fine until last night...<br>
> >> >><br>
> >> >> Thanks,<br>
> >> >><br>
> >> >> Eric<br>
> >> >><br>
> >> >> Le 2016-02-27 15:36, Barry Smith a écrit :<br>
> >> >>>    PETSc Users,<br>
> >> >>><br>
> >> >>>     We are planning the PETSc release 3.7 shortly. If you know of any<br>
> >> bugs<br>
> >> >>>     that need to be fixed or enhancements added before the release<br>
> >> please<br>
> >> >>>     let us know.<br>
> >> >>><br>
> >> >>>     You can think of the master branch of the PETSc repository<br>
> >> obtainable<br>
> >> >>>     with<br>
> >> >>><br>
> >> >>> git clone <a href="https://bitbucket.org/petsc/petsc" target="_blank">https://bitbucket.org/petsc/petsc</a> petsc<br>
> >> >>><br>
> >> >>> as a release candidate for 3.7. Changes for the release are listed at<br>
> >> >>> <a href="http://www.mcs.anl.gov/petsc/documentation/changes/dev.html" target="_blank">http://www.mcs.anl.gov/petsc/documentation/changes/dev.html</a><br>
> >> >>><br>
> >> >>>    Thanks<br>
> >> >>><br>
> >> >>>    Barry<br>
> >> >>><br>
> >> >><br>
> >> >><br>
> >><br>
> >><br>
> ><br>
> ><br>
> > --<br>
> > What most experimenters take for granted before they begin their<br>
> > experiments is infinitely more interesting than any results to which their<br>
> > experiments lead.<br>
> > -- Norbert Wiener<br>
> ><br>
><br>
><br>
><br>
</blockquote><br><br>-- <br>Jeff Hammond<br><a href="mailto:jeff.science@gmail.com" target="_blank">jeff.science@gmail.com</a><br><a href="http://jeffhammond.github.io/" target="_blank">http://jeffhammond.github.io/</a><br>