
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">

<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>

</head>

<body dir="ltr">

<div id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Helvetica,sans-serif;" dir="ltr">

<p>Hello all,</p>

<p><br>

</p>

<p>We are solving with PETSc a linear system updated every time step (constant stencil but coefficients changing).</p>

<p><br>

</p>

<p>The matrix is preallocated once with <span>MatSetPreallocationCOO() then filled each time step with <span>MatSetValuesCOO() and we use device pointers for coo_i, coo_j, and coefficients values.</span></span></p>

<p><span><span><br>

</span></span></p>

<p><span><span>It is working fine with a GMRES Ksp solver and PC Jacobi but we are surprised to see that every time step, during PCSetUp, MatGetDiagonal_SeqAIJ is called whereas the matrix is on the device. Looking at the API, it seems there is no <span style="font-family: Calibri, Helvetica, sans-serif, EmojiFont, "Apple Color Emoji", "Segoe UI Emoji", NotoColorEmoji, "Segoe UI Symbol", "Android Emoji", EmojiSymbols; font-size: 16px;">MatGetDiagonal_SeqAIJCUSPARSE()

 but a <span style="font-family: Calibri, Helvetica, sans-serif, EmojiFont, "Apple Color Emoji", "Segoe UI Emoji", NotoColorEmoji, "Segoe UI Symbol", "Android Emoji", EmojiSymbols; font-size: 16px;">MatGetDiagonal_SeqAIJKOKKOS().</span></span></span></span></p>

<p><br>

</p>

<p>Does it mean we should use Kokkos backend in PETSc to have Jacobi preconditioner built directly on device ? Or I am doing something wrong ?</p>

<p>NB: Gmres is running well on device.</p>

<p><br>

</p>

<p>I could use -ksp_reuse_preconditioner to avoid Jacobi being recreated each solve on host but it increases significantly the number of iterations.</p>

<p><br>

</p>

<p>Thanks,</p>

<p><br>

</p>

<p><img size="519712" contenttype="image/png" id="img229765" contextid="img707462" tabindex="0" style="max-width: 99.9%; user-select: none;" src="cid:efad8a7f-43b5-4363-9e63-818e26a804bd"><br>

</p>

<p><br>

</p>

<p><br>

</p>

<div id="Signature">

<div id="divtagdefaultwrapper" dir="ltr" style="font-size: 12pt; color: rgb(0, 0, 0); font-family: Calibri, Helvetica, sans-serif, EmojiFont, "Apple Color Emoji", "Segoe UI Emoji", NotoColorEmoji, "Segoe UI Symbol", "Android Emoji", EmojiSymbols;">

<div style="font-family:Tahoma; font-size:13px">

<div class="BodyFragment"><font size="2"><span style="font-size:10pt">

<div class="PlainText">Pierre LEDAC<br>

Commissariat à l’énergie atomique et aux énergies alternatives<br>

Centre de SACLAY<br>

DES/ISAS/DM2S/SGLS/LCAN<br>

Bâtiment 451 – point courrier n°41<br>

F-91191 Gif-sur-Yvette<br>

+33 1 69 08 04 03<br>

+33 6 83 42 05 79</div>

</span></font></div>

</div>

</div>

</div>

</div>

</body>

</html>