<div dir="ltr">I saw "Mat" also ... we don't have device set values for vectors, I am pretty sure. But it is not hard to do for setting local data.<div>I don't see an easy way to do off-processor data ... we have not gotten to this.<br><div><br></div><div>See <a href="https://petsc.org/main/docs/manualpages/Vec/VecGetArrayWriteAndMemType.html">https://petsc.org/main/docs/manualpages/Vec/VecGetArrayWriteAndMemType.html</a></div><div><br></div><div>You get a pointer to the raw data and pass that down to your device functions. If it is a device vector it will give you the device data.</div></div><div><br></div><div>You then add to it yourself in your kernel.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 17, 2022 at 5:44 PM Jed Brown <<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">The question is about vectors. I think it will work, but haven't tested.<br>
<br>
Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>> writes:<br>
<br>
>   We seem to be emphasizing using MatSetValuesCOO() for GPUs (can also be for CPUs); in the main branch you can find a simple example in src/mat/tutorials/ex18.c which demonstrates its use.<br>
><br>
>   Barry<br>
><br>
><br>
>> On Mar 17, 2022, at 4:46 PM, Sajid Ali Syed <<a href="mailto:sasyed@fnal.gov" target="_blank">sasyed@fnal.gov</a>> wrote:<br>
>> <br>
>> Hi PETSc-developers,<br>
>> <br>
>> Is it possible to use VecSetValues with distributed-memory CUDA & Kokkos vectors from the device, i.e. can I call VecSetValues with GPU memory pointers and expect PETSc to figure out how to stash on the device it until I call VecAssemblyBegin (at which point PETSc could use GPU-aware MPI to populate off-process values) ?<br>
>> <br>
>> If this is not currently supported, is supporting this on the roadmap? Thanks in advance!<br>
>> <br>
>> Thank You,<br>
>> Sajid Ali (he/him) | Research Associate<br>
>> Scientific Computing Division<br>
>> Fermi National Accelerator Laboratory<br>
>> <a href="http://s-sajid-ali.github.io" rel="noreferrer" target="_blank">s-sajid-ali.github.io</a> <<a href="http://s-sajid-ali.github.io/" rel="noreferrer" target="_blank">http://s-sajid-ali.github.io/</a>><br>
</blockquote></div>