<div dir="ltr"><div dir="ltr"><br></div><div dir="ltr"><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Feb 4, 2022 at 11:09 AM Sajid Ali Syed <<a href="mailto:sasyed@fnal.gov" target="_blank">sasyed@fnal.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="font-size:12pt;color:rgb(0,0,0)">Hi PETSc-developers, </span>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<div style="font-size:12pt;color:rgb(0,0,0)"><br>
Could the linear solver table (at <a href="https://petsc.org/main/overview/linear_solve_table/" rel="noopener noreferrer" target="_blank">
https://petsc.org/main/overview/linear_solve_table/</a>) be updated with information regarding direct solvers that work on mpiaijkokkos/kokkos (or mpiaijcusparse/cuda) matrix/vector types?
<br>
<br>
The use case for this solver would be to repeatedly invert the same matrix so any solver that is able to perform the SpTRSV phase entirely using GPU matrices/vectors would be helpful (even if the initial factorization is performed using CPU matrices/vectors
 with GPU offload), this functionality of course being the corresponding distributed memory counterpart to the current device-solve capabilities of the seqaijkokkos matrix type (provided by the kokkos-kernel SpTRSV routines). The system arises from a (7-pt)
 finite difference discretization of the 3D Poisson equation with a mesh of 256x256x1024 (likely necessitate using multiple GPUs) with dirichlet boundary conditions.<br></div></div></div></blockquote><div>We do not have parallel SpTRSV on GPU.  I think you need superlu_dist for that.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><div style="font-size:12pt;color:rgb(0,0,0)">
The recent article on PETScSF (arXiv:2102.13018) describes an asynchronous CG solver that works well on communication bound multi-GPU systems. Is this solver available now and can it be combined with GAMG/hypre preconditioning ?<br>
<br></div></div></div></blockquote>The asynchronous CG solver is experimental. It requires a lot of things not in petsc/main.  It is currently not in a state for general use.<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><div style="font-size:12pt;color:rgb(0,0,0)">
<div>
<div style="margin-top:16px;margin-bottom:16px;max-width:800px;min-width:424px">
<table style="padding:12px 36px 12px 12px;width:100%;border-width:1px;border-style:solid;border-color:rgb(200,200,200);border-radius:2px">
<tbody>
<tr style="border-spacing:0px" valign="top">
<td style="width:100%">
<div style="font-size:21px;font-weight:300;margin-right:8px;font-family:wf_segoe-ui_light,"Segoe UI Light","Segoe WP Light","Segoe UI","Segoe WP",Tahoma,Arial,sans-serif;margin-bottom:12px">
<a href="https://petsc.org/main/overview/linear_solve_table/" rel="noopener noreferrer" target="_blank">Summary of Sparse Linear Solvers Available In PETSc — PETSc v3.16.2-540-g1213a6437a documentation</a></div>
<div style="font-size:14px;max-height:100px;font-family:wf_segoe-ui_normal,"Segoe UI","Segoe WP",Tahoma,Arial,sans-serif;margin-bottom:12px;margin-right:8px;overflow:hidden;color:rgb(102,102,102)">
Last updated on 2022-01-01T03:38:46-0600 (v3.16.2-540-g1213a6437a).</div>
<div style="font-size:14px;font-family:wf_segoe-ui_normal,"Segoe UI","Segoe WP",Tahoma,Arial,sans-serif;color:rgb(166,166,166)">
<a href="http://petsc.org" target="_blank">petsc.org</a></div>
</td>
</tr>
</tbody>
</table>
<br>
</div>
</div>
</div>
</div>
<div>
<div id="gmail-m_-3778338485355606487gmail-m_-6305739784523969721Signature">
<div>
<div></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Thank You,<br>
<div dir="ltr">
<div dir="ltr">
<div>
<div dir="ltr">
<div>
<div dir="ltr">
<div style="font-size:12.8px">Sajid Ali (he/him) | Research Associate<br>
</div>
<div style="font-size:12.8px">Scientific Computing Division<br>
</div>
<div style="font-size:12.8px">Fermi National Accelerator Laboratory<br>
</div>
<span style="font-size:12.8px"><a href="http://s-sajid-ali.github.io" target="_blank">s-sajid-ali.github.io</a></span></div>
</div>
</div>
</div>
</div>
</div>
<br>
</div>
</div>
</div>
</div>
</div>

</blockquote></div></div>
</div>