<span class="Apple-style-span" style="font-family: arial, sans-serif; font-size: 15px; border-collapse: collapse; color: rgb(31, 73, 125); "><div><font class="Apple-style-span" color="#000000">Hi All,</font></div><div><font class="Apple-style-span" color="#000000"><br>
</font></div><div><font class="Apple-style-span" color="#000000">I am trying to solve a problem for which we have a couple of 2D planes located along the toroidal direction. We are trying to use the block jacobi preconditioner where a block is computed for each 2D plane.</font></div>
<div><font class="Apple-style-span" color="#000000"><br></font></div><div><font class="Apple-style-span" color="#000000">When we use a number of blocks that is equal to the number of planes, the execution fails with the following message: "glibc detected" (both on PPPL (</font><span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Times; font-size: medium; ">large memory Symetrical MultiProcessing (SMP) system with 80 CPUs and 440 GB of memory</span>) <font class="Apple-style-span" color="#000000">and NERSC/Hopper machines). If we run the same test case with number of blocks = 0.5 (number of planes), it seems to run fine (although it's obviously slow). I ran Totalview/memscape on it and did not find anything useful so far (no memory leak or memory corruption detected). At this point I am not sure if the problem is on the petsc side or not. I am now trying to recompile everything on our local machines at scorec to use valgrind.</font></div>
<div><font class="Apple-style-span" color="#000000"><br></font></div><div><font class="Apple-style-span" color="#000000">The version I used on hopper is the petsc-dev version as of 031011 compiled with mumps, hypre, scalapack, parmetis, superlu_dist, parmetis. The used compiler is the default compiler on hopper (pgi)</font></div>
<div><font class="Apple-style-span" color="#000000"><br></font></div><div><font class="Apple-style-span" color="#000000">Please let me know if you have any idea that could help me solving this problem.</font></div><div><font class="Apple-style-span" color="#000000">Thank you.</font></div>
<div><font class="Apple-style-span" color="#000000"><br></font></div><div><font class="Apple-style-span" color="#000000">Fabien</font></div><div><font class="Apple-style-span" color="#000000"><br></font></div><div><font class="Apple-style-span" color="#000000"><br>
</font></div><div><font class="Apple-style-span" color="#000000"><br></font></div><div><span class="Apple-style-span" style="font-family: arial, sans-serif; font-size: 15px; border-collapse: collapse; color: rgb(31, 73, 125); "><br>
</span></div></span><br clear="all"><br>-- <br><div>Fabien Delalondre, PhD.</div><div>Senior Research Associate, Scientific Computation Research Center (SCOREC).</div><div>Rensselaer Polytechnic Institute (RPI), Troy, NY.</div>
<div>Email: <a href="mailto:delalf@scorec.rpi.edu" target="_blank">delalf@scorec.rpi.edu</a>, Phone: (518)-276-8045</div><br>