On Sat, Aug 6, 2011 at 5:05 AM, Dominik Szczerba <span dir="ltr">&lt;<a href="mailto:dominik@itis.ethz.ch">dominik@itis.ethz.ch</a>&gt;</span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
On Sat, Aug 6, 2011 at 4:12 AM, Barry Smith &lt;<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>&gt; wrote:<br>
&gt;<br>
&gt;  Does the PETSc example src/vec/vec/examples/tutorials/ex1.c run correctly on 8+ processes?<br>
<br>
yes, as per:<br>
<br>
dsz@nexo:~/pack/petsc-3.1-p8/src/vec/vec/examples/tutorials$<br>
~/pack/petsc-3.1-p8/externalpackages/mpich2-1.0.8/bin/mpiexec -np 12<br>
./ex1<br>
Vector length 20<br>
Vector length 20 40 60<br>
All other values should be near zero<br>
VecScale 0<br>
VecCopy  0<br>
VecAXPY 0<br>
VecAYPX 0<br>
VecSwap  0<br>
VecSwap  0<br>
VecWAXPY 0<br>
VecPointwiseMult 0<br>
VecPointwiseDivide 0<br>
VecMAXPY 0 0 0<br></blockquote><div><br></div><div>Okay, this tells us you have a problem in your code.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

&gt;  Are you sure the MPI shared libraries are the same on both systems?<br>
<br>
I was not precise, I have only one system consisting of two 6core<br>
Intels. 12 cores in total.<br>
I have openmpi installed alongside, but was explicitly calling mpiexec<br>
from petsc external packages.<br>
<br>
&gt;   You can try the option -on_error_attach_debugger<br>
<br>
When run with np 12 It only opens 6 windows, saying:<br>
<br>
[9]PETSC ERROR: MPI error 14<br></blockquote><div><br></div><div>This is the error for message truncation on receive. That usually means you used the</div><div>wrong type in an MPI call.</div><div><br></div><div>Also, run with -start_in_debugger and get a stack trace when it fails.</div>
<div><br></div><div>   Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
[1]PETSC ERROR: MPI error 14<br>
[7]PETSC ERROR: MPI error 14<br>
[9]PETSC ERROR: PETSC: Attaching gdb to<br>
/home/dsz/build/framework-debug/trunk/bin/sm3t4mpi of pid 11798 on<br>
display localhost:11.0 on machine nexo<br>
[1]PETSC ERROR: PETSC: Attaching gdb to<br>
/home/dsz/build/framework-debug/trunk/bin/sm3t4mpi of pid 11790 on<br>
display localhost:11.0 on machine nexo<br>
[7]PETSC ERROR: PETSC: Attaching gdb to<br>
/home/dsz/build/framework-debug/trunk/bin/sm3t4mpi of pid 11796 on<br>
display localhost:11.0 on machine nexo<br>
[9]PETSC ERROR: PetscGatherNumberOfMessages() line 62 in<br>
src/sys/utils/mpimesg.c<br>
[1]PETSC ERROR: PetscGatherNumberOfMessages() line 62 in<br>
src/sys/utils/mpimesg.c<br>
[7]PETSC ERROR: PetscGatherNumberOfMessages() line 62 in<br>
src/sys/utils/mpimesg.c<br>
[1]PETSC ERROR: PETSC: Attaching gdb to<br>
/home/dsz/build/framework-debug/trunk/bin/sm3t4mpi of pid 11790 on<br>
display localhost:11.0 on machine nexo<br>
[9]PETSC ERROR: PETSC: Attaching gdb to<br>
/home/dsz/build/framework-debug/trunk/bin/sm3t4mpi of pid 11798 on<br>
display localhost:11.0 on machine nexo<br>
[7]PETSC ERROR: PETSC: Attaching gdb to<br>
/home/dsz/build/framework-debug/trunk/bin/sm3t4mpi of pid 11796 on<br>
display localhost:11.0 on machine nexo<br>
<br>
When now starting the program in the 6 windows with its expected args<br>
results in:<br>
<br>
[cli_9]: PMIU_parse_keyvals: unexpected key delimiter at character 54 in cmd<br>
[cli_9]: parse_kevals failed -1<br>
<br>
I will not be able to do proper valgrinding/puryfying before next<br>
week. In the meantime I will still appreciate any hints.<br>
<br>
Regards,<br>
Dominik<br><br></blockquote></div>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener<br>