<div dir="ltr"><div><div><div><div><div><div>Dear Shri,<br><br></div>Just tried with --download-mpich and all is well. Thanks.<br><br>Confirmed that using --download-openmpi (instead of using Ubuntu's OpenMPI) produces the same slowdown in communications. Another visible symptom is that it takes a long time to print the log_summary data.<br>

</div><br></div>Any hints as to why OpenMPI displays this behavior.<br><br></div>Thank you again for your help.<br><br></div>Regards,<br><br></div>Gonçalo<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">

On Thu, Feb 14, 2013 at 5:32 PM, Shri <span dir="ltr"><<a href="mailto:abhyshr@mcs.anl.gov" target="_blank">abhyshr@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

This has something to do with OpenMPI. I cannot reproduce this issue with MPICH. Can you try switching to MPICH (--download-mpich).<br>
<br>
Shri<br>
<div><div class="h5">On Feb 14, 2013, at 6:58 AM, Gonçalo Albuquerque wrote:<br>
<br>
> Dear All,<br>
><br>
> I'm experimenting with PETSc hybrid MPI/OpenMP capabilities and I have run a rather simple test case (2D magnetostatic) using PETSc compiled with both OpenMPI and thread support (both PThreads and OpenMP) on a Ubuntu 12.04 system. I cannot figure out the results obtained when comparing runs made using the same number of MPI processes (2) and specifying either no threads (-threadcomm_type nothread) or 1 OpenMP thread (-threadcomm_type openmp -threadcomm_nthreads 1). I attached the logs of both runs. It seems that the communication time has literally exploded. A grep over the logs gives:<br>


><br>
> No threading:<br>
> Average time for MPI_Barrier(): 1.38283e-06<br>
> Average time for zero size MPI_Send(): 7.03335e-06<br>
><br>
> 1 OpenMP thread:<br>
> Average time for MPI_Barrier(): 0.00870218<br>
> Average time for zero size MPI_Send(): 0.00614798<br>
><br>
> The same things is occurring when running ksp ex5 (see attached logs).<br>
><br>
> Any ideas as to what I'm missing?<br>
><br>
> Many thanks in advance,<br>
><br>
> Gonçalo<br>
</div></div>> <nothread.log><openmp_nthreads_1.log><ex5_nothread.log><ex5_openmp_nthreads_1.log><br>
<br>
</blockquote></div><br></div>