
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>

</head>

<body dir="ltr">

<div id="divtagdefaultwrapper" dir="ltr" style="font-size: 12pt; color: rgb(0, 0, 0); font-family: "Times New Roman", Times, serif, Times, EmojiFont, "Apple Color Emoji", "Segoe UI Emoji", NotoColorEmoji, "Segoe UI Symbol", "Android Emoji", EmojiSymbols;">

<p><span style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">Dear all,</span></p>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

<br>

</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

I am using PETSc 3.17.4 on a Linux server, compiling with --download-exodus --download-hdf5 --download-openmpi --download-triangle --with-fc=0 --with-debugging=0 PETSC_ARCH=arch-linux-c-opt COPTFLAGS="-g -O3" CXXOPTFLAGS="-g -O3".</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

The strange thing is when I run my code with mpirun -np 1 ./main, the CPU time is 30s.</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

When I use mpirun -np 2 ./main, the CPU time is 16s. It's OK.</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

But when I use more than 2 CPUs, like mpirun -np 3 ./main, the CPU time is 30s.</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

The output of command time is: real 0m30.189s, user 9m3.133s, sys 10m55.715s.</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

I can also see that the CPU load is about 100% for each process when np = 2, but the CPU load goes to 2000%, 1000%, 1000% for each process (the server has 40 CPUs).</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

Do you have any idea about this?</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

<br>

</div>

<div style="color:rgb(34,34,34); font-family:Arial,Helvetica,sans-serif; font-size:small">

Thanks in advance!</div>

<p></p>

<p><br>

</p>

<div id="Signature">

<div id="divtagdefaultwrapper" dir="ltr" style="font-size:12pt; color:rgb(0,0,0); font-family:Calibri,Helvetica,sans-serif,Times,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">

<p style="font-family:Calibri,Helvetica,sans-serif; font-size:16px"><span style="font-family:"Times New Roman",Times,serif; font-size:12pt"></span></p>

</div>

</div>

</div>

</body>

</html>