<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Jun 25, 2014 at 7:09 AM, Gunnar Jansen <span dir="ltr"><<a href="mailto:jansen.gunnar@gmail.com" target="_blank">jansen.gunnar@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">You are right about the queuing system. The job is submitted with a PBS script specifying the number of nodes/processors. On the cluster petsc is configured in a module environment which sets the appropriate flags for compilers/rules etc. <div>

<br></div><div>The same exact job script on the same exact nodes with a standard krylov method does not give any trouble but executes nicely on all processors (and also give the correct result).</div><div><br>
</div><div>Therefore my suspicion is a missing flag in the mumps interface. Is this maybe rather a topic for the mumps-dev team?</div></div></blockquote><div><br></div><div>I doubt this. The whole point of MPI is to shield code from these details.</div>
<div><br></div><div>Can you first try this system with SuperLU_dist?</div><div><br></div><div>  Thanks,</div><div><br></div><div>     MAtt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr"><div>Best, Gunnar</div><div><br></div></div><div class="gmail_extra">
<br><br><div class="gmail_quote">2014-06-25 15:52 GMT+02:00 Dave May <span dir="ltr"><<a href="mailto:dave.mayhem23@gmail.com" target="_blank">dave.mayhem23@gmail.com</a>></span>:<div><div class="h5"><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr"><div><div><div>This sounds weird.<br><br></div>The launch line you provided doesn't include any information regarding how many processors (nodes/nodes per core to use). I presume you are using a queuing system. My guess is that there could be an issue with either (i) your job script, (ii) the configuration of the job scheduler on the machine, or (iii) the mpi installation on the machine.<br>


<br>Have you been able to successfully run other petsc (or any mpi) codes with the same launch options (2 nodes, 3 procs per node)?<br><br></div>Cheers.<span><font color="#888888"><br></font></span></div><span><font color="#888888">  Dave<br>

<div><div><br><br></div></div></font></span></div><div><div><div class="gmail_extra">
<br><br><div class="gmail_quote">On 25 June 2014 15:44, Gunnar Jansen <span dir="ltr"><<a href="mailto:jansen.gunnar@gmail.com" target="_blank">jansen.gunnar@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div dir="ltr">Hi,<div><br></div><div>i try to solve a problem in parallel with MUMPS as the direct solver. As long as I run the program on only 1 node with 6 processors everything works fine! But using 2 nodes with 3 processors each gets mumps stuck in the factorization.</div>



<div><br></div><div>For the purpose of testing I run the ex2.c on a resolution of 100x100 (which is of course way to small for a direct solver in parallel).</div><div><br></div><div>The code is run with :</div>
<div>mpirun ./ex2 -on_error_abort -pc_type lu -pc_factor_mat_solver_package mumps -ksp_type preonly -log_summary -options_left -m 100 -n 100 -mat_mumps_icntl_4 3<br></div><div><br></div><div>The petsc-configuration I used is:<br>



<div>--prefix=/opt/Petsc/3.4.4.extended --with-mpi=yes --with-mpi-dir=/opt/Openmpi/1.9a/ --with-debugging=no --download-mumps  --download-scalapack --download-parmetis --download-metis</div><div><br></div><div>Is this common behavior? Or is there an error in the petsc configuration I am using here?<br>



<br>Best,</div><div>Gunnar</div></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div></div></div><br></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener
</div></div>