<div dir="ltr"><div>Viktor --</div><div><br></div><div>As a basic comment, note that ILU can be used in parallel, namely on each processor block, by either non-overlapping domain decomposition:</div><div><br></div><div>-pc_type bjacobi -sub_pc_type ilu</div><div><br></div><div>or with overlap:</div><div><br></div><div><div>-pc_type asm -sub_pc_type ilu</div><div></div></div><div><br></div><div>See the discussion of block Jacobi and ASM at</div><div><br></div><div><a href="https://petsc.org/release/docs/manual/ksp/#block-jacobi-and-overlapping-additive-schwarz-preconditioners">https://petsc.org/release/docs/manual/ksp/#block-jacobi-and-overlapping-additive-schwarz-preconditioners</a><br></div><div><br></div><div>Of course, no application of ILU will be generating optimal performance, but it looks like you are not yet getting that from AMG either.</div><div><br></div><div>Ed</div><div><br></div><div><br></div><div>On Fri, Aug 20, 2021 at 8:53 AM ????????? ?????? <<a href="mailto:numbersixvs@gmail.com" target="_blank">numbersixvs@gmail.com</a>><br>wrote:<br><br>> *Hello, dear PETSc team!*<br>><br>><br>><br>> I have a 3D elasticity with heterogeneous properties problem. There is<br>> unstructured grid with aspect ratio varied from 4 to 25. Dirichlet BCs<br>> (bottom zero displacements) are imposed via linear constraint equations<br>> using Lagrange multipliers. Also, Neumann (traction) BCs are imposed on<br>> side edges of mesh. Gravity load is also accounted for.<br>><br>> I can solve this problem with *dgmres solver* and *ILU* as a<br>> *preconditioner*. But ILU doesn`t support parallel computing, so I<br>> decided to use Euclid or Boomeramg as a preconditioner. The issue is in<br>> slow convergence and high memory consumption, much higher, than for ILU.<br>><br>> E.g., for source matrix size 2.14 GB with *ILU-0 preconditioning* memory<br>> consumption is about 5.9 GB, and the process converges due to 767<br>> iterations, and with *Euclid-0 preconditioning* memory consumption is<br>> about 8.7 GB, and the process converges due to 1732 iterations.<br>><br>> One of the following preconditioners is currently in use: *ILU-0, ILU-1,<br>> Hypre (Euclid), Hypre (boomeramg)*.<br>><br>> As a result of computations *(logs and memory logs are attached)*, the<br>> following is established for preconditioners:<br>><br>> 1. *ILU-0*: does not always provide convergence (or provides, but slow);<br>> uses an acceptable amount of RAM; does not support parallel computing.<br>><br>> 2. *ILU-1*: stable; memory consumption is much higher than that of ILU-0;<br>> does not support parallel computing.<br>><br>> 3. *Euclid*: provides very slow convergence, calculations are performed<br>> several times slower than for ILU-0; memory consumption greatly exceeds<br>> both ILU-0 and ILU-1; supports parallel computing. Also ?drop tolerance?<br>> doesn?t provide enough accuracy in some cells, so I don?t use it.<br>><br>> 4. *Boomeramg*: provides very slow convergence, calculations are<br>> performed several times slower than for ILU-0; memory consumption greatly<br>> exceeds both ILU-0 and ILU-1; supports parallel computing.<br>><br>><br>><br>> In this regard, the following questions arose:<br>><br>> 1. Is this behavior expected for HYPRE in computations with 1 MPI process?<br>> If not, is that problem can be related to *PETSc* or *HYPRE*?<br>><br>> 2. Hypre (Euclid) has much fewer parameters than ILU. Among them is the<br>> factorization level *"-pc_hypre_euclid_level <now -2: formerly -2>:<br>> Factorization levels (None)"* and its default value looks very strange,<br>> moreover, it doesn?t matter what factor is chosen -2, -1 or 0. Could it be<br>> that the parameter is confused with Column pivot tolerance in ILU - *"-pc_factor_column_pivot<br>> <-2.: -2.>: Column pivot tolerance (used only for some factorization)<br>> (PCFactorSetColumnPivot)"*?<br>><br>> 3. What preconditioner would you recommend to: optimize *convergence*,<br>> *memory* consumption, add *parallel computing*?<br>><br>> 4. How can we theoretically estimate memory costs with *ILU, Euclid,<br>> Boomeramg*?<br>><br>> 5. At what stage are memory leaks most likely?<br>><br>><br>><br>> In any case, thank you so much for your attention! Will be grateful for<br>> any response.<br>><br>> Kind regards,<br>> Viktor Nazdrachev<br>> R&D senior researcher<br>> Geosteering Technologies LLC<br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>Ed Bueler<br>Dept of Mathematics and Statistics<br>University of Alaska Fairbanks<br>Fairbanks, AK 99775-6660<br>306C Chapman<br></div></div></div></div></div></div></div></div></div>