
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>

</head>

<body dir="ltr">

<div style="font-family:Calibri,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">

</div>

<div style="font-family:Calibri,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">

<div>

<div>

<div>

<p style="margin-top: 0px; margin-bottom: 0px;">Dear Petsc developer,</p>

<p style="margin-top: 0px; margin-bottom: 0px;"><br>

</p>

<p style="margin-top: 0px; margin-bottom: 0px;">I need assistance with an error.<br>

</p>

<p style="margin-top: 0px; margin-bottom: 0px;"><br>

</p>

<p style="margin-top: 0px; margin-bottom: 0px;">I run a code that uses the DMDA related functions. I'm using petsc-3.8.4.</p>

<p style="margin-top: 0px; margin-bottom: 0px;"><br>

</p>

<p style="margin-top: 0px; margin-bottom: 0px;">This code used to run very well on a super computer with the OS SLES11.</p>

<p style="margin-top: 0px; margin-bottom: 0px;">Petsc was built using an intel mpi 5.1.3.223 module and intel mkl version 2016.0.2.181

<br>

</p>

<p style="margin-top: 0px; margin-bottom: 0px;">The code was running with no problem on 1024 and more mpi ranks.</p>

<p style="margin-top: 0px; margin-bottom: 0px;"><br>

</p>

<p style="margin-top: 0px; margin-bottom: 0px;">Recently, the OS of the computer has been updated to RHEL7<br>

</p>

<p style="margin-top: 0px; margin-bottom: 0px;">I rebuilt Petsc using new available versions of intel mpi (2019U5) and mkl (2019.0.5.281) which are the same versions for compilers and mkl.<br>

</p>

<p style="margin-top: 0px; margin-bottom: 0px;">Since then I tested to run the exact same code on 8, 16, 24, 48, 512 and 1024 mpi ranks.</p>

<p style="margin-top: 0px; margin-bottom: 0px;">Until 1024 mpi ranks no problem, but for 1024 an error related to DMDA appeared. I snip the first lines of the error stack here and the full error stack is attached.</p>

<p style="margin-top: 0px; margin-bottom: 0px;"><br>

</p>

<div style="margin-top:0px; margin-bottom:0px">

<div>

<div>

<p style="margin-top: 0px; margin-bottom: 0px;">[534]PETSC ERROR: #1 PetscGatherMessageLengths() line 120 in /scratch2/dlp/appli_local/SCR/OROGEN/petsc3.8.4_MPI/petsc-3.8.4/src/sys/utils/mpimesg.c</p>

</div>

<div>

<p style="margin-top: 0px; margin-bottom: 0px;">[534]PETSC ERROR: #2 VecScatterCreate_PtoS() line 2288 in /scratch2/dlp/appli_local/SCR/OROGEN/petsc3.8.4_MPI/petsc-3.8.4/src/vec/vec/utils/vpscat.c</p>

</div>

<div>

<p style="margin-top: 0px; margin-bottom: 0px;">[534]PETSC ERROR: #3 VecScatterCreate() line 1462 in /scratch2/dlp/appli_local/SCR/OROGEN/petsc3.8.4_MPI/petsc-3.8.4/src/vec/vec/utils/vscat.c</p>

</div>

<div>

<p style="margin-top: 0px; margin-bottom: 0px;">[534]PETSC ERROR: #4 DMSetUp_DA_3D() line 1042 in /scratch2/dlp/appli_local/SCR/OROGEN/petsc3.8.4_MPI/petsc-3.8.4/src/dm/impls/da/da3.c</p>

</div>

<div>

<p style="margin-top: 0px; margin-bottom: 0px;">[534]PETSC ERROR: #5 DMSetUp_DA() line 25 in /scratch2/dlp/appli_local/SCR/OROGEN/petsc3.8.4_MPI/petsc-3.8.4/src/dm/impls/da/dareg.c</p>

</div>

<div>

<p style="margin-top: 0px; margin-bottom: 0px;">[534]PETSC ERROR: #6 DMSetUp() line 720 in /scratch2/dlp/appli_local/SCR/OROGEN/petsc3.8.4_MPI/petsc-3.8.4/src/dm/interface/dm.c</p>

</div>

</div>

<div>

<p style="margin-top: 0px; margin-bottom: 0px;"> </p>

<p style="margin-top: 0px; margin-bottom: 0px;">Thank you for your time,</p>

<p style="margin-top: 0px; margin-bottom: 0px;">Sincerly,</p>

<p style="margin-top: 0px; margin-bottom: 0px;"><br>

</p>

<p style="margin-top: 0px; margin-bottom: 0px;">Anthony Jourdon<br>

</p>

</div>

</div>

</div>

</div>

</div>

</div>

</body>

</html>