<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Hello, <br></div><div><br></div><div>So I am trying to solve this problem in the frequency domain by solving a Ax=b. It is apparently very ill conditioned. RF wave plasma interaction simulation. There are 6M finite elements the matrix is of the size:</div><div><br></div><div>nnx: 1257303210 (1B non-zero elements)<br></div><div>n: 20347817 (size of matrix so 20M x 20M) <br></div><div><br></div><div><u>What I have tried so far: </u><br></div><div><br></div><div> -ksp_type bcgs -pc_type gamg</div><div><br></div><div> -ksp_type gmres -ksp_gmres_restart 150 -pc_type bjacobi -sub_pc_type ilu -sub_pc_factor_levels 5 -sub_ksp_type bcgs -mattransposematmult_via scalable -build_twosided allreduce</div><div><br></div><div>-ksp_type bcgs -pc_type gamg -mattransposematmult_via scalable -build_twosided allreduce <br></div><div><br></div><div>-ksp_type bcgs -pc_type asm -sub_pc_type lu</div><div><br></div><div>None of the above has really shown any convergence after 2 days of running the simulation. The farthest I got was using gmres + bjacobi which gave me a ||r||/||b|| of the order 1e-2 but it got stuck between 1e-2 and 1e-1 after a week of having left it running.</div><div><br></div><div><u>What I have available in terms of computational resources:<br></u></div><div>select=25:ncpus=16:mpiprocs=16:mem=230GB</div><div><br></div><div>So 25 nodes with around 6TB of total memory.</div><div><br></div><div>Thank you.<br></div><div><br></div></div></div></div></div>