<div class="gmail_quote">On Fri, Dec 2, 2011 at 21:55, Dave Nystrom <span dir="ltr"><<a href="mailto:Dave.Nystrom@tachyonlogic.com">Dave.Nystrom@tachyonlogic.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div id=":cu">When I run my code using our native, home grown cg solver with a<br>
cholesky preconditioner, top reports for my current problem size memory usage<br>
of 567 MB.  My current problem size is using a 2d grid that is 200x602 - not<br>
really all that big.  And yet when I am running petsc solvers, top is<br>
reporting 24 to 26 GB whether or not I am using cuda.</div></blockquote></div><br><div>No, something is very wrong. It sounds like either you have a memory leak or you do a non-scalable gather. You can run with -malloc_log to see all the memory that PETSc has allocated. Or use a heap profiler.</div>
<div><br></div><div>Some day we will write a better tool that tracks stack traces for large allocations only.</div>