<div dir="ltr">Pat, if you can fold this into some large scale experiments, that would be great.<div><br></div><div>-s2_pc_gamg_repartition true [false]<br></div><div><div>-s2_pc_gamg_mat_partitioning_type parmetis</div><div>-s2_pc_gamg_process_eq_limit 200 [10, 500]</div></div><div><br></div><div>duplicate this without s2_, for the other solver.</div><div><br></div><div>The first parameters is to repartition the coarse grids, or not.</div><div>The second parameter is not used if you are not repartitioning.  </div><div>The third parameter governs the size of processor subdomains on coarse grids.  So a larger value reduced the number of active processor faster.  Any kind of scan that you can do would be great. I am suggesting doing 10 & 500, as well as 200, which is a sort of default.</div><div><br></div><div>You don't have to do all of these permutations.  maybe just 4 tests: t/200, F/200, t/10, t/500.</div><div><br></div><div>Also use -options_left, if you don't already have it, to test that these parameters are spelled correctly.</div><div><br></div><div>I just need the log summary file.  The -ksp_view data might be useful eventually, but you can start by just giving me the log files.</div><div><br></div><div>And remember to write up what you said about slow MPI collectives in cray-petsc with multiple ranks per node on Titan ... and any data that you might have. You can send <span style="white-space:nowrap"><a href="mailto:petsc-users@mcs.anl.gov">petsc-users@mcs.anl.gov</a></span></div><div><br></div><div>Thanks,</div><div>Mark</div></div>