<div dir="ltr"><div>Those two constructors would definitely meet my needs, thanks!</div><div><br></div><div>Also I should note that the comment about garray and B in <span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)"></span><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif;font-size:small;white-space:normal">MatSetMPIAIJKokkosWithSplitSeq</span><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif;font-size:small;white-space:normal">AIJKokkosMatrices is correct if garray is passed in as NULL, it's just that if you pass in a completed garray it doesn't bother creating one or changing the column indices of B. So I would suggest the comment be: "</span>if garray is NULL the offdiag matrix B should have global col ids; if garray is not NULL the offdiag matrix B should have local col ids"</div></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Wed, 26 Feb 2025 at 03:35, Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com">junchao.zhang@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div style="line-height:21px">Mat_SeqAIJKokkos is private because it is in a private header src/mat/impls/aij/seq/kokkos/aijkok.hpp<div style="color:rgb(0,0,0);font-family:Menlo,Monaco,"Courier New",monospace;font-size:14px;white-space:pre-wrap"><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)"><br></span></div><div style="color:rgb(0,0,0);font-family:Menlo,Monaco,"Courier New",monospace;font-size:14px;white-space:pre-wrap"><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)">Your observation about the garray in </span><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif;font-size:small;white-space:normal">MatSetMPIAIJKokkosWithSplitSeq</span><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif;font-size:small;white-space:normal">AIJKokkosMatrices() might be right.  The comment</span></div><div style="color:rgb(0,0,0);font-family:Menlo,Monaco,"Courier New",monospace;font-size:14px;white-space:pre-wrap"><span style="color:rgb(34,34,34);font-family:Arial,Helvetica,sans-serif;font-size:small;white-space:normal"><br></span></div><div><div style="line-height:21px"><div style="color:rgb(0,0,0);font-family:Menlo,Monaco,"Courier New",monospace;font-size:14px;white-space:pre-wrap"><span style="color:rgb(0,128,0)">-  B     - the offdiag matrix using global col ids</span></div><div style="color:rgb(0,0,0);font-family:Menlo,Monaco,"Courier New",monospace;font-size:14px;white-space:pre-wrap"><span style="color:rgb(0,128,0)"><br></span></div>is out of date. Perhaps it should be "the offdiag matrix uses local column indices and garray contains the local to global mapping".  But I need to double check it.</div><div style="line-height:21px"><br></div><div style="line-height:21px">Since you use Kokkos, I think we could provide these two constructors for MATSEQAIJKOKKOS and MATMPIAIJKOKKOS respectively</div></div></div></div><ul><li>MatCreateSeqAIJKokkosWithKokkosCsrMatrix(MPI_Comm comm, KokkosCsrMatrix csr, Mat *A)</li></ul><ul><li>MatCreateMPIAIJKokkosWithSeqAIJKokkos(MPI_Comm comm, Mat A, Mat B, PetscInt *garray, Mat *mat) </li></ul>         // To mimic the existing MatCreateMPIAIJWithSeqAIJ(MPI_Comm comm, Mat A, Mat B, const PetscInt garray[], Mat *mat);<div>         // A and B are MATSEQAIJKOKKOS matrices and use local column indices<br><div><br></div><div>Do they meet your needs?</div><div><br><div><div dir="ltr" class="gmail_signature"><div dir="ltr">--Junchao Zhang</div></div></div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 25, 2025 at 5:35 PM Steven Dargaville <<a href="mailto:dargaville.steven@gmail.com" target="_blank">dargaville.steven@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Thanks for the response!</div><div><br></div><div>Although MatSetValuesCOO happens on the device if the input coo_v pointer is device memory, I believe MatSetPreallocationCOO requires host pointers for coo_i and coo_j, and the preallocation (and construction of the COO structures) happens on the host and is then copied onto the device? I need to be able to create a matrix object with minimal work on the host (like many of the routines in aijkok.kokkos.cxx do internally). I originally used the COO interface to build the matrices I need, but that was around 5x slower than constructing the aij structures myself on the device and then just directly using the MatSetSeqAIJKokkosWithCSRMatrix type methods. <br></div><div><br></div><div>The reason I thought MatSetSeqAIJKokkosWithCSRMatrix could easily be made public is that the Mat_SeqAIJKokkos constructors are already publicly accessible? In particular one of those constructors takes in pointers to the Kokkos dual views which store a,i,j, and hence one can build a sequential matrix with nothing (or very little) occuring on the host. The only change I can see  that would be necessary is for MatSetSeqAIJKokkosWithCSRMatrix (or MatCreateSeqAIJKokkosWithCSRMatrix) to be public is to change the PETSC_INTERN to PETSC_EXTERN?</div><div><br></div><div>For MatSetMPIAIJKokkosWithSplitSeqAIJKokkosMatrices, I believe all that is required is declaring the method in the .hpp, as it's already defined as static in mpiaijkok.kokkos.cxx. In particular, the comments above MatSetMPIAIJKokkosWithSplitSeqAIJKokkosMatrices suggest that the off-diagonal block B needs to be built with global column ids, with mpiaij->garray constructed on the host along with the rewriting of the global column indices in B. This happens in MatSetUpMultiply_MPIAIJ, but checking the code there shows that if you pass in a non-null garray to MatSetMPIAIJKokkosWithSplitSeqAIJKokkosMatrices, the construction and compatification is skipped, meaning B can be built with local column ids as long as garray is provided on the host (which  I also build on the device and then just copy to the host). Again this is what some of the internal Kokkos routines rely on, like the matrix-product.   <br></div><div><br></div><div>I am happy to try doing this and submitting a request to the petsc gitlab if this seems sensible, I just wanted to double check that I wasn't missing something important?</div><div>Thanks</div><div>Steven</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 25 Feb 2025 at 22:16, Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com" target="_blank">junchao.zhang@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi, Steven,</div><div>  <span style="color:rgb(0,0,0);font-family:Menlo,Monaco,"Courier New",monospace;font-size:14px;white-space:pre-wrap">MatSetSeqAIJKokkosWithCSRMatrix(Mat A, Mat_SeqAIJKokkos *akok) </span>uses a private data type Mat_SeqAIJKokkos, so it can not be directly made public. </div><div>  If you already use COO, then why not directly make the matrix of type MATAIJKOKKOS and call MatSetPreallocationCOO() and MatSetValuesCOO()?</div><div>  So I am confused by your needs. <br><div><br></div><div>Thanks!</div><div>--Junchao Zhang</div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 25, 2025 at 3:39 PM Steven Dargaville <<a href="mailto:dargaville.steven@gmail.com" target="_blank">dargaville.steven@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi</div><div><br></div><div>I'm just wondering if there is any possibility of making:</div><div>MatSetSeqAIJKokkosWithCSRMatrix or MatCreateSeqAIJKokkosWithCSRMatrix in src/mat/impls/aij/seq/kokkos/aijkok.kokkos.cxx </div><div>MatSetMPIAIJKokkosWithSplitSeqAIJKokkosMatrices in src/mat/impls/aij/mpi/kokkos/mpiaijkok.kokkos.cxx</div><div><br></div><div>publicly accessible outside of petsc, or if there is an interface I have missed for creating Kokkos matrices entirely on the device? MatCreateSeqAIJKokkosWithCSRMatrix for example is marked as PETSC_INTERN so I can't link to it. <br></div><div><br></div><div>I've currently just copied the code inside of those methods so that I can build without any preallocation on the host (e.g., through the COO interface) and it works really well. <br></div><div><br></div><div>Thanks for your help</div><div>Steven</div></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>