<div dir="ltr"><br><br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div><br>I actually use hybridization and I was reading the preprint "Algebraic Hybridization and Static Condensation with Application to Scalable H(div) Preconditioning" by Dobrev et al. ( <a href="https://arxiv.org/abs/1801.08914" target="_blank">https://arxiv.org/abs/1801.08914</a> ) and they show that multigrid is optimal for the grad-div problem discretized with H(div) conforming FEMs when hybridized. That is actually why I think that BDDC also would be optimal. I will look into ngsolve to see if I can have such a domain decomposition. Maybe I can do it manually just as proof of concept.<br></div><div><br></div></div></div></blockquote><div><br></div><div>If you are using hybridization, you can use PCGAMG (i.e. -pc_type gamg)</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div></div><div>I am using GMRES. I was wondering if the application of BDDC is a linear operator, if it is not maybe I should use FGMRES. But I could not find any comments about that. <br></div><div><br></div></div></div></blockquote><div><br></div><div>BDDC is linear. The problem is that when you disassemble an already assembled matrix, the operator of the preconditioner is not guaranteed to stay positive definite for positive definite assembled problems,</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div></div><div>I will recompile PETSc with ParMETIS and try your suggestions. Thank you! I will update you soon.</div><div><br></div><div>Best wishes,</div><div>Abdullah Ali Sivas<br></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, 25 Oct 2018 at 09:53, Stefano Zampini <<a href="mailto:stefano.zampini@gmail.com" target="_blank">stefano.zampini@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">How many processes (subdomains) are you using?</div><div dir="ltr">I would not say the number of iterations is bad, and it also seems to plateau.</div><div dir="ltr">The grad-div problem is quite hard to be solved (unless you use hybridization), you can really benefit from the "Neumann" assembly.<div>I believe you are using GMRES, as the preconditioned operator (i.e M_BDDC^-1 A) is not guaranteed to be positive definite when you use the automatic disassembling.</div><div>You may slightly improve the quality of the disassembling by using  -mat_is_disassemble_l2g_type nd -mat_partitioning_type parmetis if you have PETSc compiled with ParMETIS support.<div><br></div></div></div></div><br><div class="gmail_quote"><div dir="ltr">Il giorno mer 24 ott 2018 alle ore 20:59 Abdullah Ali Sivas <<a href="mailto:abdullahasivas@gmail.com" target="_blank">abdullahasivas@gmail.com</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Hi Stefano,</div><div><br></div><div>I am trying to solve the div-div problem (or grad-div problem in strong form) with a H(div)-conforming FEM. I am getting the matrices from an external source (to be clear, from an ngsolve script) and I am not sure if it is possible to get a MATIS matrix out of that. So I am just treating it as if I am not able to access the assembly code. The results are 2, 31, 26, 27, 31 iterations, respectively, for matrix sizes 282, 1095, 4314, 17133, 67242, 267549. However, norm of the residual also grows significantly; 7.38369e-09 for 1095 and 5.63828e-07 for 267549. I can try larger sizes, or maybe this is expected for this case.<br></div><div><br></div><div>As a side question, if we are dividing the domain into number of MPI processes subdomains, does it mean that convergence is affected negatively by the increasing number of processes? I know that alternating Schwarz method and some other domain decomposition methods sometimes suffer from the decreasing radius of the subdomains. It sounds like BDDC is pretty similar to those by your description. <br></div><div><br></div><div>Best wishes,</div><div>Abdullah Ali Sivas<br></div></div></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Wed, 24 Oct 2018 at 05:28, Stefano Zampini <<a href="mailto:stefano.zampini@gmail.com" target="_blank">stefano.zampini@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">Abdullah,<div><br></div><div>The "Neumann" problems Jed is referring to result from assembling your problem on each subdomain ( = MPI process) separately.</div><div>Assuming you are using FEM, these problems have been historically  named "Neumann" as they correspond to a problem with natural boundary conditions (Neumann bc for Poisson).</div><div>Note that in PETSc the subdomain decomposition is associated with the mesh decomposition.</div><div><br></div><div>When converting from an assembled AIJ matrix to a MATIS format, such "Neumann" information is lost.</div><div>You can disassemble an AIJ matrix, in the sense that you can find local matrices A_j such that A = \sum_j R^T_j A_j R_j (as it is done in ex72.c), but you cannot guarantee (unless if you solve an optimization problem) that the disassembling will produce subdomain Neumann problems that are consistent with your FEM problem.</div><div><br></div><div>I have added such disassembling code a few months ago, just to have another alternative for preconditioning AIJ matrices in PETSc; there are few tweaks one can do to improve the quality of the disassembling, but I discourage its usage unless you don't have access to the FEM assembly code.</div><div><br></div><div>With that said, what problem are you trying to solve? Are you using DMDA or DMPlex? What are the results you obtained with using the automatic disassembling?</div></div></div><br><div class="gmail_quote"><div dir="ltr">Il giorno mer 24 ott 2018 alle ore 08:14 Abdullah Ali Sivas <<a href="mailto:abdullahasivas@gmail.com" target="_blank">abdullahasivas@gmail.com</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hi Jed,</div><div><br></div><div>Thanks for your reply. The assembled matrix I have corresponds to the full problem on the full mesh. There are no "Neumann" problems (or any sort of domain decomposition) defined in the code generates the matrix. However, I think assembling the full problem is equivalent to implicitly assembling the "Neumann" problems, since the system can be partitioned as;</div><div><br></div><div>[A_{LL} | A_{LI}]  [u_L]     [F]</div><div>-----------|------------ -------- = -----<br></div><div>[A_{IL}  |A_{II} ]   [u_I]      [G]<br></div><div><br></div><div>and G should correspond to the Neumann problem. I might be thinking wrong (or maybe I completely misunderstood the idea), if so please correct me. But I think that the problem is that I am not explicitly telling PCBDDC which dofs are interface dofs.</div><div><br></div><div>Regards,</div><div>Abdullah Ali Sivas<br></div></div><br><div class="gmail_quote"><div dir="ltr">On Tue, 23 Oct 2018 at 23:16, Jed Brown <<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Did you assemble "Neumann" problems that are compatible with your<br>
definition of interior/interface degrees of freedom?<br>
<br>
Abdullah Ali Sivas <<a href="mailto:abdullahasivas@gmail.com" target="_blank">abdullahasivas@gmail.com</a>> writes:<br>
<br>
> Dear all,<br>
><br>
> I have a series of linear systems coming from a PDE for which BDDC is an<br>
> optimal preconditioner. These linear systems are assembled and I read them<br>
> from a file, then convert into MATIS as required (as in<br>
> <a href="https://www.mcs.anl.gov/petsc/petsc-current/src/ksp/ksp/examples/tutorials/ex72.c.html" rel="noreferrer" target="_blank">https://www.mcs.anl.gov/petsc/petsc-current/src/ksp/ksp/examples/tutorials/ex72.c.html</a><br>
> ). I expect each of the systems converge to the solution in almost same<br>
> number of iterations but I don't observe it. I think it is because I do not<br>
> provide enough information to the preconditioner. I can get a list of inner<br>
> dofs and interface dofs. However, I do not know how to use them. Has anyone<br>
> have any insights about it or done something similar?<br>
><br>
> Best wishes,<br>
> Abdullah Ali Sivas<br>
</blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="m_4917495561541152669m_-2986953174521469732m_-7193334724293830997m_258303803866232856gmail_signature" data-smartmail="gmail_signature">Stefano</div>
</blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="m_4917495561541152669m_-2986953174521469732gmail_signature" data-smartmail="gmail_signature">Stefano</div>
</blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">Stefano</div></div>