<div dir="ltr">You are right about the queuing system. The job is submitted with a PBS script specifying the number of nodes/processors. On the cluster petsc is configured in a module environment which sets the appropriate flags for compilers/rules etc. <div>
<br></div><div style>The same exact job script on the same exact nodes with a standard krylov method does not give any trouble but executes nicely on all processors (and also give the correct result).</div><div style><br>
</div><div style>Therefore my suspicion is a missing flag in the mumps interface. Is this maybe rather a topic for the mumps-dev team?</div><div style><br></div><div style>Best, Gunnar</div><div style><br></div></div><div class="gmail_extra">
<br><br><div class="gmail_quote">2014-06-25 15:52 GMT+02:00 Dave May <span dir="ltr"><<a href="mailto:dave.mayhem23@gmail.com" target="_blank">dave.mayhem23@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr"><div><div><div>This sounds weird.<br><br></div>The launch line you provided doesn't include any information regarding how many processors (nodes/nodes per core to use). I presume you are using a queuing system. My guess is that there could be an issue with either (i) your job script, (ii) the configuration of the job scheduler on the machine, or (iii) the mpi installation on the machine.<br>

<br>Have you been able to successfully run other petsc (or any mpi) codes with the same launch options (2 nodes, 3 procs per node)?<br><br></div>Cheers.<span class="HOEnZb"><font color="#888888"><br></font></span></div><span class="HOEnZb"><font color="#888888">  Dave<br>
<div><div><br><br></div></div></font></span></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra">
<br><br><div class="gmail_quote">On 25 June 2014 15:44, Gunnar Jansen <span dir="ltr"><<a href="mailto:jansen.gunnar@gmail.com" target="_blank">jansen.gunnar@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr">Hi,<div><br></div><div>i try to solve a problem in parallel with MUMPS as the direct solver. As long as I run the program on only 1 node with 6 processors everything works fine! But using 2 nodes with 3 processors each gets mumps stuck in the factorization.</div>


<div><br></div><div>For the purpose of testing I run the ex2.c on a resolution of 100x100 (which is of course way to small for a direct solver in parallel).</div><div><br></div><div>The code is run with :</div>
<div>mpirun ./ex2 -on_error_abort -pc_type lu -pc_factor_mat_solver_package mumps -ksp_type preonly -log_summary -options_left -m 100 -n 100 -mat_mumps_icntl_4 3<br></div><div><br></div><div>The petsc-configuration I used is:<br>


<div>--prefix=/opt/Petsc/3.4.4.extended --with-mpi=yes --with-mpi-dir=/opt/Openmpi/1.9a/ --with-debugging=no --download-mumps  --download-scalapack --download-parmetis --download-metis</div><div><br></div><div>Is this common behavior? Or is there an error in the petsc configuration I am using here?<br>


<br>Best,</div><div>Gunnar</div></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>