<div dir="ltr">Wonderful! Thanks so much for all of your help!<div><br></div><div>Kai</div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Jul 25, 2014 at 3:50 PM, Barry Smith <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
  Well it is running. It is just producing annoying warning messages. You need to talk to your local MPI expert on that system for how to get rid of the problem.<br>
<span class="HOEnZb"><font color="#888888"><br>
   Barry<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
On Jul 25, 2014, at 3:23 PM, Kai Song <<a href="mailto:ksong@lbl.gov">ksong@lbl.gov</a>> wrote:<br>
<br>
> Hi Barry,<br>
><br>
> I indeed deleted some of the OpenMPI related warning messages, it should be irrelevant. Here is the full output:<br>
> ======================<br>
> [kaisong@n0009 petsc-3.5.0]$ sh <a href="http://petsc-3.5.0-gcc.sh" target="_blank">petsc-3.5.0-gcc.sh</a><br>
> Running test examples to verify correct installation<br>
> Using PETSC_DIR=/clusterfs/voltaire/home/software/modules/petsc/3.5.0 and PETSC_ARCH=arch-linux2-c-debug<br>
> Possible error running C/C++ src/snes/examples/tutorials/ex19 with 1 MPI process<br>
> See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
> --------------------------------------------------------------------------<br>
> WARNING: There is at least non-excluded one OpenFabrics device found,<br>
> but there are no active ports detected (or Open MPI was unable to use<br>
> them).  This is most certainly not what you wanted.  Check your<br>
> cables, subnet manager configuration, etc.  The openib BTL will be<br>
> ignored for this job.<br>
><br>
>   Local host: n0009.scs00<br>
> --------------------------------------------------------------------------<br>
> lid velocity = 0.0016, prandtl # = 1, grashof # = 1<br>
> Number of SNES iterations = 2<br>
> Possible error running C/C++ src/snes/examples/tutorials/ex19 with 2 MPI processes<br>
> See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
> --------------------------------------------------------------------------<br>
> WARNING: There is at least non-excluded one OpenFabrics device found,<br>
> but there are no active ports detected (or Open MPI was unable to use<br>
> them).  This is most certainly not what you wanted.  Check your<br>
> cables, subnet manager configuration, etc.  The openib BTL will be<br>
> ignored for this job.<br>
><br>
>   Local host: n0009.scs00<br>
> --------------------------------------------------------------------------<br>
> lid velocity = 0.0016, prandtl # = 1, grashof # = 1<br>
> Number of SNES iterations = 2<br>
> [n0009.scs00:07638] 1 more process has sent help message help-mpi-btl-openib.txt / no active ports found<br>
> [n0009.scs00:07638] Set MCA parameter "orte_base_help_aggregate" to 0 to see all help / error messages<br>
> Possible error running Fortran example src/snes/examples/tutorials/ex5f with 1 MPI process<br>
> See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
> --------------------------------------------------------------------------<br>
> WARNING: There is at least non-excluded one OpenFabrics device found,<br>
> but there are no active ports detected (or Open MPI was unable to use<br>
> them).  This is most certainly not what you wanted.  Check your<br>
> cables, subnet manager configuration, etc.  The openib BTL will be<br>
> ignored for this job.<br>
><br>
>   Local host: n0009.scs00<br>
> --------------------------------------------------------------------------<br>
> Number of SNES iterations =     4<br>
> Completed test examples<br>
> =========================================<br>
> Now to evaluate the computer systems you plan use - do:<br>
> make PETSC_DIR=/clusterfs/voltaire/home/software/modules/petsc/3.5.0 PETSC_ARCH=arch-linux2-c-debug streams NPMAX=<number of MPI processes you intend to use><br>
> ======================<br>
><br>
> I also followed your suggestion and built ex19 separately, and made sure using the same compiler that built petsc. Here is the complete output:<br>
> ======================<br>
> [kaisong@n0009 tutorials]$ mpiexec -n 2 ./ex19<br>
> --------------------------------------------------------------------------<br>
> WARNING: There is at least non-excluded one OpenFabrics device found,<br>
> but there are no active ports detected (or Open MPI was unable to use<br>
> them).  This is most certainly not what you wanted.  Check your<br>
> cables, subnet manager configuration, etc.  The openib BTL will be<br>
> ignored for this job.<br>
><br>
>   Local host: n0009.scs00<br>
> --------------------------------------------------------------------------<br>
> lid velocity = 0.0625, prandtl # = 1, grashof # = 1<br>
> Number of SNES iterations = 2<br>
> [n0009.scs00:09124] 1 more process has sent help message help-mpi-btl-openib.txt / no active ports found<br>
> [n0009.scs00:09124] Set MCA parameter "orte_base_help_aggregate" to 0 to see all help / error messages<br>
> ======================<br>
><br>
> Thanks,<br>
><br>
> Kai<br>
><br>
><br>
><br>
> On Fri, Jul 25, 2014 at 1:32 PM, Barry Smith <<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>> wrote:<br>
><br>
> On Jul 25, 2014, at 12:23 PM, Kai Song <<a href="mailto:ksong@lbl.gov">ksong@lbl.gov</a>> wrote:<br>
><br>
> > Hi All,<br>
> ><br>
> > Thanks for all the suggestions! I took Satish's advice, removed the source, and did a fresh built.<br>
> ><br>
> > It got through the test compiling, but the tests failed as follow:<br>
> > ==================<br>
> > Running test examples to verify correct installation<br>
> > Using PETSC_DIR=/clusterfs/voltaire/home/software/modules/petsc/3.5.0 and PETSC_ARCH=arch-linux2-c-debug<br>
> > Possible error running C/C++ src/snes/examples/tutorials/ex19 with 1 MPI process<br>
> > See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
> > lid velocity = 0.0016, prandtl # = 1, grashof # = 1<br>
> > Number of SNES iterations = 2<br>
> > Possible error running C/C++ src/snes/examples/tutorials/ex19 with 2 MPI processes<br>
> > See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a><br>
> > …<br>
><br>
>    Surely it did not print … here? What was the complete message?<br>
><br>
>    Usually this happens due to an incompatible mpiexec being used because it appears earlier in the path.<br>
><br>
>    What happens if you do<br>
><br>
> cd src/snes/examples/tutorials<br>
> make ex19<br>
> mpiexec -n 2 ./ex19<br>
><br>
> for mpiexec use the one associated with the MPI that you built PETSc with<br>
><br>
>   Barry<br>
><br>
> > ==================<br>
> ><br>
> > I tried to go into src/snes/examples/tutorials/ex19, but didn't find any logs. Is this error for the test Okay?<br>
> ><br>
> > Thanks,<br>
> ><br>
> > Kai<br>
> ><br>
> ><br>
> ><br>
> > On Fri, Jul 25, 2014 at 11:06 AM, Satish Balay <<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>> wrote:<br>
> > Its probably best to do a fresh build with the latest petsc-3.5.1 tarball and see<br>
> > if the problem is reproduceable [with --with-shared-libraries=0]<br>
> ><br>
> > Satish<br>
> ><br>
> > On Fri, 25 Jul 2014, Jed Brown wrote:<br>
> ><br>
> > > Matthew Knepley <<a href="mailto:knepley@gmail.com">knepley@gmail.com</a>> writes:<br>
> > ><br>
> > > > On Thu, Jul 24, 2014 at 5:33 PM, Kai Song <<a href="mailto:ksong@lbl.gov">ksong@lbl.gov</a>> wrote:<br>
> > > ><br>
> > > >> Hi Satish,<br>
> > > >><br>
> > > >> Thanks for the quick response. I attached the make.log in this email, and<br>
> > > >> a quick glance, I didn't see any obvious errors.<br>
> > > >><br>
> > > ><br>
> > > > This never built the MUMPS directory, even though you have PETSC_HAVE_MUMPS<br>
> > > > defined. I can see two<br>
> > > > possible reasons for this:<br>
> > > ><br>
> > > >   1) You distribution as missing files<br>
> > > ><br>
> > > >   2) You have two copies of PETSc fighting each other here (old PETSC_DIR?)<br>
> > > ><br>
> > > > Can you make sure you have the file mumps.c in<br>
> > > ><br>
> > > >   src/mat/impls/aij/mpi/mumps<br>
> > > ><br>
> > > > Jed, how do we check what make is doing here?<br>
> > ><br>
> > > mumps.c should be listed in $PETSC_ARCH/conf/files after the code<br>
> > > generator runs.  Possibly a file system problem or tinkering caused it<br>
> > > to appear up-to-date after reconfiguring?  (Just speculating because we<br>
> > > haven't seen this problem before.)<br>
> > ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> > --<br>
> > Kai Song<br>
> > <<a href="mailto:ksong@lbl.gov">ksong@lbl.gov</a>> <a href="tel:1.510.495.2180" value="+15104952180">1.510.495.2180</a><br>
> > 1 Cyclotron Rd. Berkeley, CA94720, MS-50B 3209<br>
> > High Performance Computing Services (HPCS)<br>
> > Lawrence Berkeley National Laboratory - <a href="http://scs.lbl.gov" target="_blank">http://scs.lbl.gov</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Kai Song<br>
> <<a href="mailto:ksong@lbl.gov">ksong@lbl.gov</a>> <a href="tel:1.510.495.2180" value="+15104952180">1.510.495.2180</a><br>
> 1 Cyclotron Rd. Berkeley, CA94720, MS-50B 3209<br>
> High Performance Computing Services (HPCS)<br>
> Lawrence Berkeley National Laboratory - <a href="http://scs.lbl.gov" target="_blank">http://scs.lbl.gov</a><br>
<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>Kai Song<br><<a href="mailto:ksong@lbl.gov" target="_blank">ksong@lbl.gov</a>> 1.510.495.2180<br>1 Cyclotron Rd. Berkeley, CA94720, MS-50B 3209<br>
High Performance Computing Services (HPCS) <br>Lawrence Berkeley National Laboratory - <a href="http://scs.lbl.gov" target="_blank">http://scs.lbl.gov</a>
</div>