Now most of the time is spent in PCApply, though an inordinate amount is still in VecScatterEnd, indicating that either your partition is very bad or the machine has contention (either with other jobs, zombie processes, incorrect affinity, over-subscribed).<div>
<br></div><div>In any case, you can try changing the smoother. For example, try skipping the Chebyshev iterations and just use one iteration of SOR...<br><br><div class="gmail_quote">On Fri, Oct 5, 2012 at 10:08 AM, TAY wee-beng <span dir="ltr"><<a href="mailto:zonexo@gmail.com" target="_blank">zonexo@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On 4/10/2012 11:44 PM, Satish Balay wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On Thu, 4 Oct 2012, Matthew Knepley wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
the Mom-Z solve is bad because the assembly of the operator is<br>
screwed up. You are communicating too many values. So, jsut go into<br>
your code and count how many off process entries you set.<br>
</blockquote>
running with '-info' should give debug info regarding this<br>
communication [stack size used for messages, and the number of mallocs<br>
needed etc..]<br>
<br>
Satish<br>
</blockquote>
<br></div></div>
Ok, I found my problem. I was using:<br>
<br>
PetscLogStage  stage<br>
<br>
and the time for the poisson eqn got combined into that of the momentum_z solve. Hence the confusion in results.<br>
<br>
I have attached the new results. The time is taken up mainly by GAMG. I am using:<br>
<br>
-poisson_pc_gamg_agg_nsmooths 1<br>
-poisson_pc_type gamg<br>
<br>
What are the possible ways to improve the efficiency or reduce the time?<br>
<br>
If I use HYPRE's geometric multigrid, performance is somewhat better, such that momentum_x/y/z accounts for a total of 15% computing time.<br>
<br>
>From the log_summary, for the momentum eqns, it seems that MatAssembly is the main problem, is that so?<br>
</blockquote></div><br></div>