<div dir="ltr"><div class="gmail_default" style="color:rgb(103,78,167)"><div class="gmail_default">Hi Matt,</div><div class="gmail_default"><br></div><div class="gmail_default">Thanks for your response. You were right: the right hand side matrix has had some 'nan's which caused the solver to return error. Strangely this does not happen when #cpus are less than 4! I am going to search for the source of that.</div><div class="gmail_default"><br></div><div class="gmail_default">Best,</div><div class="gmail_default">Mohammad</div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jan 10, 2018 at 5:04 PM, Matthew Knepley <span dir="ltr"><<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Jan 10, 2018 at 4:41 PM, Mohammad R. Gohardoust <span dir="ltr"><<a href="mailto:gohardoust@email.arizona.edu" target="_blank">gohardoust@email.arizona.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div style="color:rgb(103,78,167)">Hi,</div><div style="color:rgb(103,78,167)"><br></div><div style="color:rgb(103,78,167)"><div style="font-size:12.8px">I hope you are doing well. I am Mohammad, a PhD student of environmental sciences at the University of Arizona.</div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">I do appreciate any help that can shed some light on the issue I have: recently </span><span style="font-size:12.8px">I have added a feature to an existing parallel code called 'parswms' which solves water and solute transport in soils. The code uses MPI and parmetis for the parallelization purposes and petsc package (KSPSolve) for solving linear systems. I have it </span><span style="font-size:12.8px">installed</span><span style="font-size:12.8px"> </span><span style="font-size:12.8px">on the UofA HPC : the issue is that it works well if the number of CPUs are up to 4! but when I add to this number the numerical linear solver (here it is 'KSPCGS') stops with the error of 'KSP_DIVERGED_NANORINF'. </span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">Would you mind please giving me some hints, suggestions or resources in this regard?</span></div></div></div></blockquote><div><br></div><div>It sounds like you might have a problem in matrix assembly. However, first use -pc_type gmres instead since</div><div>it has nicer numerical behavior (I believe).</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div style="color:rgb(103,78,167)"><div style="font-size:12.8px"><span style="font-size:12.8px">Best Regards,</span></div><div style="font-size:12.8px"><span style="font-size:12.8px">Mohammad</span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div><br></div></div></div><span class="HOEnZb"><font color="#888888">
</font></span></blockquote></div><span class="HOEnZb"><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div class="m_1396296428190661500gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.caam.rice.edu/~mk51/" target="_blank">https://www.cse.buffalo.edu/~<wbr>knepley/</a><br></div></div></div></div></div>
</font></span></div></div>
</blockquote></div><br></div>