<div dir="ltr">See if you could reproduce the problem on another machine, e.g., a Linux workstation with MPICH?<div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">--Junchao Zhang</div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Aug 19, 2020 at 7:32 PM Manav Bhatia <<a href="mailto:bhatiamanav@gmail.com">bhatiamanav@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div>Hi, </div><div><br></div><div>   I have an application that uses the KSP solver and I am looking at the performance with increasing system size. I am currently running on MacBook Pro with 32 GB memory and Petsc obtained from GitHub (commit <span style="color:rgb(159,160,28);font-family:Monaco;font-size:10px;background-color:rgba(0,0,0,0.85)">df0e43005dbe6ff47eff22a32b336a6c37d02c3a</span>). </div><div><br></div><div>   The application runs fine till about 2e6 DoFs using gamg without any problems. </div><div><br></div><div>   However, when I try a larger system size, in this case with 5.4e6 DoFs, the application hangs for an hour and I have to kill the MPI processes. </div><div><br></div><div>   I tried to use Xcode Instruments to profile the 8 MPI processes and I have attached a screenshot of the recorded results from each process. All processes are stuck inside MatAssemblyEnd, but at different function calls. </div><div><br></div><div>   I am not sure how to debug this issue, and would greatly appreciate any guidance. </div><div><br></div><div>   For reference, I am calling PETSc with the following options:</div><div>  <span style="color:rgb(16,16,16);font-family:Monaco;font-size:10px;background-color:rgba(255,255,255,0.85)">-ksp_type gmres -pc_type gamg -mat_block_size 3 -mg_levels_ksp_max_it 4 -ksp_monitor -ksp_converged_reason</span></div><div><br></div><div>Regards,</div><div>Manav</div><div><br></div><img id="gmail-m_16019163828053458417D54CA5B-4CB4-4D05-83ED-28DCCFC6F21A" src="cid:1740c75764ac274c4b91"><img id="gmail-m_1601916382805345841B1B6D50E-68C6-4474-98F1-77220A5A36D6" src="cid:1740c75764af2b26afb2"><img id="gmail-m_160191638280534584189AAD486-E7A0-4483-984A-EF3DDDC2DF7C" src="cid:1740c75764a22f0113d3"><img id="gmail-m_1601916382805345841F7DCDCCF-D4A5-494B-A432-F85125EEB597" src="cid:1740c75764a532db77f4"><img id="gmail-m_160191638280534584115A00772-D8C9-4B45-83FB-7F3C0E78624D" width="968" height="673" src="cid:1740c75764a7ac769dc5"><img id="gmail-m_16019163828053458410F434653-9CDC-4FE7-911B-1B0F551D4CF4" width="968" height="673" src="cid:1740c75764aab05101e6"><img id="gmail-m_1601916382805345841A9C63439-3A1B-45BD-B689-9247997E2AD5" width="968" height="673" src="cid:1740c75764adb42b6607"><img id="gmail-m_16019163828053458414365EE4C-817A-46ED-ACE8-9FE87949A98C" width="1012" height="748" src="cid:1740c75764aa39f2fc38"></div></blockquote></div>