<div dir="ltr"><div dir="ltr">On Mon, Sep 22, 2025 at 1:55 PM 岳新海 <<a href="mailto:12332508@mail.sustech.edu.cn">12332508@mail.sustech.edu.cn</a>> wrote:</div><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><font><p>Dear PETSc Team,</p>
<p>I am encountering an issue when running PETSc with CUDA support on a cluster. When I set the vector type to <code>VECCUDA</code>, PETSc reports that my MPI is <span>not GPU-aware</span>. However, the MPI library (OpenMPI 4.1.5) I used to configure PETSc was built with the <code>--with-cuda</code> option enabled.</p></font></div><div><font><p>Here are some details:</p><blockquote style="margin:0.8em 0px 0.8em 2em;padding:0px 0px 0px 0.7em;border-left:2px solid rgb(221,221,221)">PETSc version: 3.20.6<br>MPI: OpenMPI 4.1.5, configured with <code>--with-cuda<br></code>GPU: RTX3090<br>CUDA version: 12.1</blockquote>
<p>I have attached both my <span>PETSc configure command</span> and <span>OpenMPI configure command</span> for reference.</p><p>My questions are:</p><p>
</p><ol>
<li>
<p>Even though I enabled <code>--with-cuda</code> in OpenMPI, why does PETSc still report that MPI is not GPU-aware?</p></li></ol></font></div></blockquote><div><br></div><div>You need to send us the configure.log from this build.</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><font><ol><li>
</li>
<li>
<p>Are there additional steps or specific configuration flags required (either in OpenMPI or PETSc) to ensure GPU-aware MPI is correctly detected?</p></li></ol><p>Any guidance or suggestions would be greatly appreciated.</p><p>
</p><p>Best regards,</p><p>Xinhai Yue</p><p><br></p>
<p></p></font></div><div><u></u><div><font><br></font><div style="color:rgb(144,144,144);font-family:"Arial Narrow";font-size:12px"></div></div><div style="font-size:14px;font-family:Verdana;color:rgb(0,0,0)"><div><div style="width:305px;height:35px;line-height:35px;margin:20px 0px 0px"><img src="https://exmail.qq.com/cgi-bin/viewfile?type=logo&domain=mail.sustech.edu.cn"></div><div style="margin:10px 0px 0px"><h4 style="margin:0px;font-size:14px;font-weight:bold;line-height:28px;zoom:1">岳新海</h4><p style="margin:0px;line-height:22px;color:rgb(160,160,160)"></p><p style="margin:0px;line-height:22px;color:rgb(160,160,160)">南方科技大学/学生/研究生/2023级研究生</p><p style="margin:0px;line-height:22px;color:rgb(160,160,160)"></p><p style="margin:0px;line-height:22px;color:rgb(160,160,160)">广东省深圳市南山区学苑大道1088号</p></div></div></div><u></u></div><div> </div><div><u></u><u></u></div></blockquote></div><div><br clear="all"></div><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="https://urldefense.us/v3/__http://www.cse.buffalo.edu/*knepley/__;fg!!G_uCfscf7eWS!e4FQQzSZ5GghIY-rygAc20LL68HLqH4yeKRZvOHu4yZLV1R1lbmJ-6tUY3LUyZOH6FJWH3BM59unaEscvOrg$" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>