<div class="gmail_quote">On Sun, Sep 23, 2012 at 6:14 PM, Wenlei Xie <span dir="ltr"><<a href="mailto:wenleix@cs.cornell.edu" target="_blank">wenleix@cs.cornell.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="word-wrap:break-word">Thank you! However as I observed if there are too many blocks (say 200), the performance would decrease drastically. Here are some numbers (collected under ILU as the preconditioner in the sub block -- I am going to test it with LU)<div>
#Blocks       Setup Time          Solving Time (50 Iterations)</div><div>100              0.5s<span style="white-space:pre-wrap">            </span>      17.5s</div><div>200<span style="white-space:pre-wrap">                </span>   0.76s<span style="white-space:pre-wrap">      </span>   <span style="white-space:pre-wrap">   </span>      19.1s</div>
<div>300              2.75s<span style="white-space:pre-wrap">             </span>      26.5s</div><div>500<span style="white-space:pre-wrap">                </span>   7.39s                   43.64s</div><div>1000            39.13s                 165.83s<br>
<div><br></div><div>It looks like both the Setup Time and the Solving Time increase significantly as the number of blocks are more than 200. Is this a normal result?</div><div></div></div></div></blockquote></div><br><div>
It does not surprise me. A couple factors</div><div><br></div><div>1. Ghost values get copied many times as the subdomains shrink.</div><div>2. If you are running in debug mode, there is overhead of going through the KSP interface for tiny subdomains. The overhead is small in optimized mode unless there are only a handful of degrees per subdomain. This overhead would only grow linearly with number of subdomains so it does not explain your super-linear slow-down.</div>