<div dir="ltr">Epilogue:<div><br></div><div>I was able to complete the configuration and compilation using an interactive session in one compute node. Certainly, there was no need for the --with-batch option.</div><div><br></div><div>However, at run time, the SGI MPT's mpiexec_mpt (required by the job scheduler in this cluster) throws a cryptic error: Cannot find executable: -f</div><div>It seems not petsc specific, though, as other mpi programs also fail.</div><div><br></div><div>In any case I would like to thank you all for the prompt help!</div><div><br></div><div>Santiago </div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Dec 18, 2017 at 1:03 AM, Smith, Barry F. <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
  Configure runs fine. When it runs fine absolutely no reason to run it with --with-batch.<br>
<br>
   Make test fails because it cannot launch parallel jobs directly using the mpiexec it is using.<br>
<br>
   You need to determine how to submit jobs on this system and then you are ready to go.<br>
<br>
   Barry<br>
<div><div class="h5"><br>
<br>
> On Dec 17, 2017, at 4:55 PM, Santiago Andres Triana <<a href="mailto:repepo@gmail.com">repepo@gmail.com</a>> wrote:<br>
><br>
> Thanks for your quick responses!<br>
><br>
> Attached is the configure.log obtained without using the --with-batch option. Configures without errors but fails at the 'make test' stage. A snippet of the output with the error (which I attributed to the job manager) is:<br>
><br>
><br>
><br>
> >   Local host:              hpca-login<br>
> >   Registerable memory:     32768 MiB<br>
> >   Total memory:            65427 MiB<br>
> ><br>
> > Your MPI job will continue, but may be behave poorly and/or hang.<br>
> > ------------------------------<wbr>------------------------------<wbr>--------------<br>
> 3c25<br>
> <     0 KSP Residual norm 0.239155<br>
> ---<br>
> >     0 KSP Residual norm 0.235858<br>
> 6c28<br>
> <     0 KSP Residual norm 6.81968e-05<br>
> ---<br>
> >     0 KSP Residual norm 2.30906e-05<br>
> 9a32,33<br>
> > [hpca-login:38557] 1 more process has sent help message help-mpi-btl-openib.txt / reg mem limit low<br>
> > [hpca-login:38557] Set MCA parameter "orte_base_help_aggregate" to 0 to see all help / error messages<br>
> /home/trianas/petsc-3.8.3/src/<wbr>snes/examples/tutorials<br>
> Possible problem with ex19_fieldsplit_fieldsplit_<wbr>mumps, diffs above<br>
> ==============================<wbr>===========<br>
> Possible error running Fortran example src/snes/examples/tutorials/<wbr>ex5f with 1 MPI process<br>
> See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/<wbr>documentation/faq.html</a><br>
> ------------------------------<wbr>------------------------------<wbr>--------------<br>
> WARNING: It appears that your OpenFabrics subsystem is configured to only<br>
> allow registering part of your physical memory.  This can cause MPI jobs to<br>
> run with erratic performance, hang, and/or crash.<br>
><br>
> This may be caused by your OpenFabrics vendor limiting the amount of<br>
> physical memory that can be registered.  You should investigate the<br>
> relevant Linux kernel module parameters that control how much physical<br>
> memory can be registered, and increase them to allow registering all<br>
> physical memory on your machine.<br>
><br>
> See this Open MPI FAQ item for more information on these Linux kernel module<br>
> parameters:<br>
><br>
>     <a href="http://www.open-mpi.org/faq/?category=openfabrics#ib-locked-pages" rel="noreferrer" target="_blank">http://www.open-mpi.org/faq/?<wbr>category=openfabrics#ib-<wbr>locked-pages</a><br>
><br>
>   Local host:              hpca-login<br>
>   Registerable memory:     32768 MiB<br>
>   Total memory:            65427 MiB<br>
><br>
> Your MPI job will continue, but may be behave poorly and/or hang.<br>
> ------------------------------<wbr>------------------------------<wbr>--------------<br>
> Number of SNES iterations =     4<br>
> Completed test examples<br>
> ==============================<wbr>===========<br>
> Now to evaluate the computer systems you plan use - do:<br>
> make PETSC_DIR=/home/trianas/petsc-<wbr>3.8.3 PETSC_ARCH=arch-linux2-c-debug streams<br>
><br>
><br>
><br>
><br>
> On Sun, Dec 17, 2017 at 11:32 PM, Matthew Knepley <<a href="mailto:knepley@gmail.com">knepley@gmail.com</a>> wrote:<br>
> On Sun, Dec 17, 2017 at 3:29 PM, Santiago Andres Triana <<a href="mailto:repepo@gmail.com">repepo@gmail.com</a>> wrote:<br>
> Dear petsc-users,<br>
><br>
> I'm trying to install petsc in a cluster that uses a job manager.  This is the configure command I use:<br>
><br>
> ./configure --known-mpi-shared-libraries=1 --with-scalar-type=complex --with-mumps=1 --download-mumps --download-parmetis --with-blaslapack-dir=/sw/<wbr>sdev/intel/psxe2015u3/<wbr>composer_xe_2015.3.187/mkl --download-metis --with-scalapack=1 --download-scalapack --with-batch<br>
><br>
> This fails when including the option --with-batch together with --download-scalapack:<br>
><br>
> We need configure.log<br>
><br>
> ==============================<wbr>==============================<wbr>===================<br>
>              Configuring PETSc to compile on your system<br>
> ==============================<wbr>==============================<wbr>===================<br>
> TESTING: check from config.libraries(config/<wbr>BuildSystem/config/libraries.<wbr>py:158)                                           ******************************<wbr>******************************<wbr>*******************<br>
>          UNABLE to CONFIGURE with GIVEN OPTIONS    (see configure.log for details):<br>
> ------------------------------<wbr>------------------------------<wbr>-------------------<br>
> Unable to find scalapack in default locations!<br>
> Perhaps you can specify with --with-scalapack-dir=<<wbr>directory><br>
> If you do not want scalapack, then give --with-scalapack=0<br>
> You might also consider using --download-scalapack instead<br>
> ******************************<wbr>******************************<wbr>*******************<br>
><br>
><br>
> However, if I omit the --with-batch option, the configure script manages to succeed (it downloads and compiles scalapack; the install fails later at the make debug because of the job manager).<br>
><br>
> Can you send this failure as well?<br>
><br>
>   Thanks,<br>
><br>
>      Matt<br>
><br>
> Any help or suggestion is highly appreciated. Thanks in advance!<br>
><br>
> Andres<br>
><br>
><br>
><br>
> --<br>
> What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
> -- Norbert Wiener<br>
><br>
> <a href="https://www.cse.buffalo.edu/~knepley/" rel="noreferrer" target="_blank">https://www.cse.buffalo.edu/~<wbr>knepley/</a><br>
><br>
</div></div>> <configure.log><br>
<br>
</blockquote></div><br></div>