<div dir="ltr"><div dir="ltr"><div>Thank you Dave,</div><div><br></div><div>I reconfigured PETSc with valgrind and debugging mode, I ran the code again with the following options:</div><div>mpiexec -n 8 valgrind --tool=memcheck -q --num-callers=20 --log-file=valgrind.log.%p ./solveCSys -malloc off -ksp_type bcgs -pc_type gamg -log_view</div><div>(as on the petsc website you linked)</div><div><br></div><div>It finished solving using the iterative solver, but the resulting valgrind.log.%p files (all 8 corresponding to each processor) are all empty. And it took a whooping ~15hours, for what used to take ~10-20min. Maybe this is because of valgrind? I am not sure. Attached is the log_view.<br></div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Jan 10, 2019 at 8:59 AM Dave May <<a href="mailto:dave.mayhem23@gmail.com">dave.mayhem23@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr">On Thu, 10 Jan 2019 at 08:55, Sal Am via petsc-users <<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>I am not sure what is exactly is wrong as the error changes slightly every time I run it (without changing the parameters).</div></div></div></div></div></blockquote><div><br></div><div>This likely implies that you have a memory error in your code (a memory leak would not cause this behaviour).</div><div>I strongly suggest you make sure your code is free of memory errors.</div><div>You can do this using valgrind. See here </div><div><br></div><div><a href="https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind" target="_blank">https://www.mcs.anl.gov/petsc/documentation/faq.html#valgrind</a><br></div><div><br></div><div>for an explanation of how to use valgrind.</div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div> I have attached the first two run's errors and my code. <br></div><div><br></div><div>Is there a memory leak somewhere? I have tried running it with -malloc_dump, but not getting anything printed out, however, when run with -log_view I see that Viewer is created 4 times, but destroyed 3 times. The way I see it, I have destroyed it where I see I no longer have use for it so not sure if I am wrong. Could this be the reason why it keeps crashing? It crashes as soon as it reads the matrix, before entering the solving mode (I have a print statement before solving starts that never prints).<br></div><div><br></div><div>how I run it in the job script on 2 node with 32 processors using the clusters OpenMPI. <br></div><div><br></div><div>mpiexec ./solveCSys -ksp_type bcgs -pc_type gamg -ksp_converged_reason -ksp_monitor_true_residual -log_view -ksp_error_if_not_converged -ksp_monitor -malloc_log -ksp_view</div><div><br></div><div>the matrix:</div><div>2 122 821 366 (non-zero elements)<br></div><div>25 947 279 x 25 947 279<br></div><div><br></div><div>Thanks and all the best<br></div></div></div></div></div>
</blockquote></div></div></div>
</blockquote></div>