<div dir="ltr"><div dir="ltr"><br><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 12, 2021 at 8:09 AM Satish Balay <<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Whats the oldest version of mpich or openmpi we should test with?<br>
<br></blockquote><div>OpenMPI-<span style="color:rgb(0,0,0);white-space:pre-wrap">1.6.5 or </span>mpich2-1.5, which are their latest support of MPI-2.2</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
We can modify one of the tests to use that version of tarball with<br>
--download-mpich=URL [or --download-openmpi=URL]<br>
<br>
Satish<br>
<br>
On Sun, 11 Apr 2021, Junchao Zhang wrote:<br>
<br>
> Danyang,<br>
>   I pushed another commit to the same branch jczhang/fix-mpi3-win to guard<br>
> uses of MPI_Iallreduce.<br>
> <br>
>   Satish, it seems we need an MPI-2.2 CI to say petsc does not need MPI-3.0?<br>
> <br>
> --Junchao Zhang<br>
> <br>
> <br>
> On Sun, Apr 11, 2021 at 1:45 PM Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>> wrote:<br>
> <br>
> > Hi Junchao,<br>
> ><br>
> ><br>
> ><br>
> > I also ported the changes you have made to PETSc 3.13.6 and configured<br>
> > with Intel 14.0 and OpenMPI 1.6.5, it works too.<br>
> ><br>
> > There is a similar problem in PETSc 3.14+ version as MPI_Iallreduce is<br>
> > only available in OpenMPI V1.7+. I would not say this is a bug, it just<br>
> > requires a newer MPI version.<br>
> ><br>
> ><br>
> ><br>
> > /home/danyangs/soft/petsc/petsc-3.14.6/intel-14.0.2-openmpi-1.6.5/lib/libpetsc.so:<br>
> > undefined reference to `MPI_Iallreduce'<br>
> ><br>
> ><br>
> ><br>
> > Thanks again for all your help,<br>
> ><br>
> ><br>
> ><br>
> > Danyang<br>
> ><br>
> > *From: *Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com" target="_blank">junchao.zhang@gmail.com</a>><br>
> > *Date: *Sunday, April 11, 2021 at 7:54 AM<br>
> > *To: *Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>><br>
> > *Cc: *Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>>, "<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>" <<br>
> > <a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>><br>
> > *Subject: *Re: [petsc-users] Undefined reference in PETSc 3.13+ with old<br>
> > MPI version<br>
> ><br>
> ><br>
> ><br>
> > Thanks, Glad to know you have a workaround.<br>
> ><br>
> > --Junchao Zhang<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > On Sat, Apr 10, 2021 at 10:06 PM Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>> wrote:<br>
> ><br>
> > Hi Junchao,<br>
> ><br>
> ><br>
> ><br>
> > I cannot configure your branch with same options due to the error in<br>
> > sowing. I had similar error before on other clusters with very old openmpi<br>
> > version. Problem was solved when openmpi was updated to a newer one.<br>
> ><br>
> ><br>
> ><br>
> > At this moment, I configured a PETSc version with Openmpi 2.1.6 version<br>
> > and it seems working properly.<br>
> ><br>
> ><br>
> ><br>
> > Thanks and have a good rest of the weekend,<br>
> ><br>
> ><br>
> ><br>
> > Danyang<br>
> ><br>
> ><br>
> ><br>
> > *From: *Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>><br>
> > *Date: *Saturday, April 10, 2021 at 4:08 PM<br>
> > *To: *Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com" target="_blank">junchao.zhang@gmail.com</a>><br>
> > *Cc: *Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>>, "<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>" <<br>
> > <a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>><br>
> > *Subject: *Re: [petsc-users] Undefined reference in PETSc 3.13+ with old<br>
> > MPI version<br>
> ><br>
> ><br>
> ><br>
> > Hi Junchao,<br>
> ><br>
> ><br>
> ><br>
> > The configuration is successful. The error comes from the last step when I<br>
> > run<br>
> ><br>
> ><br>
> ><br>
> > make PETSC_DIR=/home/danyangs/soft/petsc/petsc-3.13.6<br>
> > PETSC_ARCH=linux-intel-openmpi check<br>
> ><br>
> ><br>
> ><br>
> > ********************Error detected during compile or<br>
> > link!********************<br>
> ><br>
> > *See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
> > <<a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a>>*<br>
> ><br>
> > */home/danyangs/soft/petsc/petsc-3.13.6/src/snes/tutorials ex5f*<br>
> ><br>
> > ***********************************************************<br>
> ><br>
> > mpif90 -fPIC -O3 -march=native -mtune=nativels<br>
> > -I/home/danyangs/soft/petsc/petsc-3.13.6/include<br>
> > -I/home/danyangs/soft/petsc/petsc-3.13.6/linux-intel-openmpi/include<br>
> > ex5f.F90<br>
> > -Wl,-rpath,/home/danyangs/soft/petsc/petsc-3.13.6/linux-intel-openmpi/lib<br>
> > -L/home/danyangs/soft/petsc/petsc-3.13.6/linux-intel-openmpi/lib<br>
> > -Wl,-rpath,/home/danyangs/soft/petsc/petsc-3.13.6/linux-intel-openmpi/lib<br>
> > -L/home/danyangs/soft/petsc/petsc-3.13.6/linux-intel-openmpi/lib<br>
> > -Wl,-rpath,/global/software/intel/composer_xe_2013_sp1.2.144/mkl/lib/intel64<br>
> > -L/global/software/intel/composer_xe_2013_sp1.2.144/mkl/lib/intel64<br>
> > -Wl,-rpath,/global/software/intel/composer_xe_2013_sp1.2.144/compiler/lib/intel64<br>
> > -L/global/software/intel/composer_xe_2013_sp1.2.144/compiler/lib/intel64<br>
> > -Wl,-rpath,/global/software/openmpi-1.6.5/intel/lib64<br>
> > -L/global/software/openmpi-1.6.5/intel/lib64<br>
> > -Wl,-rpath,/global/software/intel/composerxe/mkl/lib/intel64<br>
> > -L/global/software/intel/composerxe/mkl/lib/intel64<br>
> > -Wl,-rpath,/usr/lib/gcc/x86_64-redhat-linux/4.4.7<br>
> > -L/usr/lib/gcc/x86_64-redhat-linux/4.4.7<br>
> > -Wl,-rpath,/global/software/intel/composerxe/lib/intel64 -lpetsc -lHYPRE<br>
> > -lcmumps -ldmumps -lsmumps -lzmumps -lmumps_common -lpord -lscalapack<br>
> > -lsuperlu -lflapack -lfblas -lX11 -lhdf5hl_fortran -lhdf5_fortran -lhdf5_hl<br>
> > -lhdf5 -lparmetis -lmetis -lstdc++ -ldl -lmpi_f90 -lmpi_f77 -lmpi -lm<br>
> > -lnuma -lrt -lnsl -lutil -limf -lifport -lifcore -lsvml -lipgo -lintlc<br>
> > -lpthread -lgcc_s -lirc_s -lstdc++ -ldl -o ex5f<br>
> ><br>
> > ifort: command line warning #10159: invalid argument for option '-m'<br>
> ><br>
> > /home/danyangs/soft/petsc/petsc-3.13.6/linux-intel-openmpi/lib/libpetsc.so:<br>
> > undefined reference to `MPI_Win_allocate'<br>
> ><br>
> > /home/danyangs/soft/petsc/petsc-3.13.6/linux-intel-openmpi/lib/libpetsc.so:<br>
> > undefined reference to `MPI_Win_attach'<br>
> ><br>
> > /home/danyangs/soft/petsc/petsc-3.13.6/linux-intel-openmpi/lib/libpetsc.so:<br>
> > undefined reference to `MPI_Win_create_dynamic'<br>
> ><br>
> > gmake[4]: *** [ex5f] Error 1<br>
> ><br>
> ><br>
> ><br>
> > Thanks,<br>
> ><br>
> ><br>
> ><br>
> > Danyang<br>
> ><br>
> ><br>
> ><br>
> > *From: *Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com" target="_blank">junchao.zhang@gmail.com</a>><br>
> > *Date: *Saturday, April 10, 2021 at 3:57 PM<br>
> > *To: *Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>><br>
> > *Cc: *Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>>, "<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>" <<br>
> > <a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>><br>
> > *Subject: *Re: [petsc-users] Undefined reference in PETSc 3.13+ with old<br>
> > MPI version<br>
> ><br>
> ><br>
> ><br>
> > You sent a wrong one. This configure.log was from a successful<br>
> > configuration. Note FOPTFLAGS="-O3 -march=native -mtune=nativels" looks<br>
> > suspicious.<br>
> ><br>
> ><br>
> ><br>
> > --Junchao Zhang<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > On Sat, Apr 10, 2021 at 5:32 PM Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>> wrote:<br>
> ><br>
> ><br>
> ><br>
> > Hi Junchao,<br>
> ><br>
> ><br>
> ><br>
> > Thanks for looking into this problem. The configuration log is attached.<br>
> ><br>
> ><br>
> ><br>
> > All the best,<br>
> ><br>
> ><br>
> ><br>
> > Danyang<br>
> ><br>
> > *From: *Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com" target="_blank">junchao.zhang@gmail.com</a>><br>
> > *Date: *Saturday, April 10, 2021 at 2:36 PM<br>
> > *To: *Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>><br>
> > *Cc: *Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>>, "<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>" <<br>
> > <a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>><br>
> > *Subject: *Re: [petsc-users] Undefined reference in PETSc 3.13+ with old<br>
> > MPI version<br>
> ><br>
> ><br>
> ><br>
> > Hi, Danyang,<br>
> ><br>
> ><br>
> ><br>
> > Send the configure.log.  Also, PETSc does not need MPI_Win_allocate etc to<br>
> > work. I will have a look.<br>
> ><br>
> ><br>
> > --Junchao Zhang<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > On Sat, Apr 10, 2021 at 2:47 PM Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>> wrote:<br>
> ><br>
> > Hi Barry,<br>
> ><br>
> ><br>
> ><br>
> > I tried this option before but get ‘Error running configure on OpenMPI’<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > *******************************************************************************<br>
> ><br>
> >          UNABLE to CONFIGURE with GIVEN OPTIONS    (see configure.log for<br>
> > details):<br>
> ><br>
> ><br>
> > -------------------------------------------------------------------------------<br>
> ><br>
> > Error running configure on OPENMPI<br>
> ><br>
> ><br>
> > *******************************************************************************<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/configure.py", line<br>
> > 456, in petsc_configure<br>
> ><br>
> >     framework.configure(out = sys.stdout)<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/framework.py",<br>
> > line 1253, in configure<br>
> ><br>
> >     self.processChildren()<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/framework.py",<br>
> > line 1242, in processChildren<br>
> ><br>
> >     self.serialEvaluation(self.childGraph)<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/framework.py",<br>
> > line 1217, in serialEvaluation<br>
> ><br>
> >     child.configure()<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/package.py",<br>
> > line 1144, in configure<br>
> ><br>
> >     self.executeTest(self.configureLibrary)<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/base.py",<br>
> > line 140, in executeTest<br>
> ><br>
> >     ret = test(*args,**kargs)<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/package.py",<br>
> > line 902, in configureLibrary<br>
> ><br>
> >     for location, directory, lib, incl in self.generateGuesses():<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/package.py",<br>
> > line 476, in generateGuesses<br>
> ><br>
> >     d = self.checkDownload()<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/packages/OpenMPI.py",<br>
> > line 56, in checkDownload<br>
> ><br>
> >     return self.getInstallDir()<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/package.py",<br>
> > line 365, in getInstallDir<br>
> ><br>
> >     installDir = self.Install()<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/packages/OpenMPI.py",<br>
> > line 63, in Install<br>
> ><br>
> >     installDir = config.package.GNUPackage.Install(self)<br>
> ><br>
> >   File<br>
> > "/global/home/danyangs/soft/petsc/petsc-3.14.6/config/BuildSystem/config/package.py",<br>
> > line 1667, in Install<br>
> ><br>
> >     raise RuntimeError('Error running configure on ' + self.PACKAGE)<br>
> ><br>
> ><br>
> > ================================================================================<br>
> ><br>
> > Finishing configure run at Sat, 10 Apr 2021 11:57:20 -0700<br>
> ><br>
> ><br>
> > ================================================================================<br>
> ><br>
> ><br>
> ><br>
> > Thanks,<br>
> ><br>
> ><br>
> ><br>
> > Danyang<br>
> ><br>
> ><br>
> ><br>
> > *From: *Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>><br>
> > *Date: *Saturday, April 10, 2021 at 10:31 AM<br>
> > *To: *Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>><br>
> > *Cc: *"<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>" <<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>><br>
> > *Subject: *Re: [petsc-users] Undefined reference in PETSc 3.13+ with old<br>
> > MPI version<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> >   Depending on the network you can remove the ./configure<br>
> > options --with-cc=mpicc --with-cxx=mpicxx --with-fc=mpif90  and use instead<br>
> > --with-cc=icc --with-cxx=icpc and--with-fc=ifort --download-openmpi<br>
> ><br>
> ><br>
> ><br>
> >   Barry<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > On Apr 10, 2021, at 12:18 PM, Danyang Su <<a href="mailto:danyang.su@gmail.com" target="_blank">danyang.su@gmail.com</a>> wrote:<br>
> ><br>
> ><br>
> ><br>
> > Dear PETSc developers and users,<br>
> ><br>
> ><br>
> ><br>
> > I am trying to install the latest PETSc version on an ancient cluster. The<br>
> > OpenMPI version is 1.6.5 and Compiler is Intel 14.0, which are the newest<br>
> > on that cluster. I have no problem to install PETSc up to version 3.12.5.<br>
> > However, if I try to use PETSc 3.13+, there are three undefined reference<br>
> > errors in MPI_Win_allocate, MPI_Win_attach and MPI_Win_create_dynamic. I<br>
> > know these three functions are available from OpenMPI 2.0+. Because the<br>
> > cluster is not in technical support anymore, there is no way I can install<br>
> > new OpenMPI version or do some update. Is it possible to disable these<br>
> > three functions in PETSc 3.13+ version?<br>
> ><br>
> ><br>
> ><br>
> > The errors occur in ‘make check’ step:<br>
> ><br>
> > /home/dsu/soft/petsc/petsc-3.13.0/linux-intel-openmpi/lib/libpetsc.so:<br>
> > undefined reference to `MPI_Win_allocate'<br>
> ><br>
> > /home/dsu/soft/petsc/petsc-3.13.0/linux-intel-openmpi/lib/libpetsc.so:<br>
> > undefined reference to `MPI_Win_attach'<br>
> ><br>
> > /home/dsu/soft/petsc/petsc-3.13.0/linux-intel-openmpi/lib/libpetsc.so:<br>
> > undefined reference to `MPI_Win_create_dynamic'<br>
> ><br>
> ><br>
> ><br>
> > The configuration used is shown below:<br>
> ><br>
> > ./configure --with-cc=mpicc --with-cxx=mpicxx --with-fc=mpif90<br>
> > --download-mumps --download-scalapack --download-parmetis --download-metis<br>
> > --download-fblaslapack --download-hypre --download-superlu<br>
> > --download-hdf5=yes --with-debugging=0 COPTFLAGS="-O3 -march=native<br>
> > -mtune=native" CXXOPTFLAGS="-O3 -march=native -mtune=native" FOPTFLAGS="-O3<br>
> > -march=native -mtune=nativels"<br>
> ><br>
> ><br>
> ><br>
> > Thanks,<br>
> ><br>
> ><br>
> ><br>
> > Danyang<br>
> ><br>
> ><br>
> ><br>
> ><br>
> <br>
</blockquote></div></div>