<div dir="ltr"><div dir="ltr">On Fri, Jan 25, 2019 at 9:06 PM Mohammad Gohardoust via petsc-users <<a href="mailto:petsc-users@mcs.anl.gov">petsc-users@mcs.anl.gov</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="color:rgb(103,78,167)"></div><div style="color:rgb(103,78,167)">Hi,</div><div style="color:rgb(103,78,167)"><br></div><div style="color:rgb(103,78,167)">I am trying to modify a "pure MPI" code for solving water movement equation in soils which employs KSP iterative solvers. This code gets really slow in the hpc I am testing it as I increase the number of calculating nodes (each node has 28 cores) even from 1 to 2. I went for implementing "MPI-OpenMP" solutions like MUMPS. I did this inside the petsc by:</div></div></div></blockquote><div><br></div><div>In my opinion, this is not a great strategy. You should figure out what is happening with MUMPS first. Second, you</div><div>should consider not using LU because it is not that scalable. First, when you run in parallel, are you having MUMPS</div><div>calculate the ordering in parallel? Second, it sounds like you are running on a single node. Do not expect to get much</div><div>speedup with either processes or threads here because all your operations are limited by memory bandwidth, not</div><div>compute power, and the node has a fixed bandwidth.</div><div><br></div><div>  Thanks,</div><div><br></div><div>    Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="color:rgb(103,78,167);margin-left:40px">KSPSetType(ksp, KSPPREONLY);</div><div style="color:rgb(103,78,167);margin-left:40px">PCSetType(pc, PCLU);</div><div style="color:rgb(103,78,167);margin-left:40px">PCFactorSetMatSolverType(pc, MATSOLVERMUMPS);</div><div style="color:rgb(103,78,167);margin-left:40px">KSPSolve(ksp, ... <br></div><div style="color:rgb(103,78,167);margin-left:40px"><br></div><div style="color:rgb(103,78,167)">and I run it through:</div><div style="color:rgb(103,78,167)"><br></div><div style="color:rgb(103,78,167);margin-left:40px">export OMP_NUM_THREADS=16 && mpirun -n 2 ~/Programs/my_programs<br><br></div><div style="color:rgb(103,78,167)"></div><div style="color:rgb(103,78,167)">The code is working (in my own PC) but it is too slow (maybe about 50 times slower). Since I am not an expert, I like to know is this what I should expect from MUMPS!?</div><div style="color:rgb(103,78,167)"><br></div><div style="color:rgb(103,78,167)">Thanks,</div><div style="color:rgb(103,78,167)">Mohammad<br></div><div style="color:rgb(103,78,167)"></div><div style="color:rgb(103,78,167)"></div><br></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>