
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">

<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>

</head>

<body dir="ltr">

<div id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Helvetica,sans-serif;" dir="ltr">

<p>Hello,</p>

<p><br>

</p>

<p>My code is built with PETSc 3.23+OpenMPI 4.1.6 (Cuda support enabled) and profling indicates that MPI communications are done between GPUs in all the code except PETSc part where D2H transfers occur.</p>

<p><br>

</p>

<p>I reproduced the PETSc issue with the <span>example under src/ksp/ksp/tutorials/</span>ex10 on 2 MPI ranks. <span style="font-size: 12pt;">See output in ex10.log</span></p>

<p><br>

</p>

<p>Also below the Nsys system profiling on ex10 with D2H and H2D copies before/after MPI calls.</p>

<p><br>

</p>

<p>Thanks for your help,</p>

<p><br>

</p>

<p><img size="123750" contenttype="image/png" id="img821557" contextid="img217517" tabindex="0" style="max-width: 99.9%; user-select: none;" src="cid:fe096b00-e3b7-4aa3-9d78-d8a44adbe145"><br>

</p>

<p><br>

</p>

<p><br>

</p>

<div id="Signature">

<div id="divtagdefaultwrapper" dir="ltr" style="font-size: 12pt; color: rgb(0, 0, 0); font-family: Calibri, Helvetica, sans-serif, EmojiFont, "Apple Color Emoji", "Segoe UI Emoji", NotoColorEmoji, "Segoe UI Symbol", "Android Emoji", EmojiSymbols;">

<div style="font-family:Tahoma; font-size:13px">

<div class="BodyFragment"><font size="2"><span style="font-size:10pt">

<div class="PlainText">Pierre LEDAC<br>

Commissariat à l’énergie atomique et aux énergies alternatives<br>

Centre de SACLAY<br>

DES/ISAS/DM2S/SGLS/LCAN<br>

Bâtiment 451 – point courrier n°41<br>

F-91191 Gif-sur-Yvette<br>

+33 1 69 08 04 03<br>

+33 6 83 42 05 79</div>

</span></font></div>

</div>

</div>

</div>

</div>

</body>

</html>