<div dir="ltr"><div class="gmail_default" style="color:#674ea7">Thanks Barry,</div><div class="gmail_default" style="color:#674ea7"><br></div><div class="gmail_default" style="color:#674ea7">some 'nan's in the rhs matrix caused the issue strangely when cpu numbers gets larger than 4. </div><div class="gmail_default" style="color:#674ea7"><br></div><div class="gmail_default" style="color:#674ea7">Best,</div><div class="gmail_default" style="color:#674ea7">Mohammad</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jan 10, 2018 at 5:30 PM, Smith, Barry F. <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
  You can also run with -fp_trap to find where the nan/inf first appears as well as run with -ksp_monitor to see what is happening before the tragedy<br>
<br>
  Barry<br>
<span class=""><br>
<br>
> On Jan 10, 2018, at 3:41 PM, Mohammad R. Gohardoust <<a href="mailto:gohardoust@email.arizona.edu">gohardoust@email.arizona.edu</a>> wrote:<br>
><br>
> Hi,<br>
><br>
> I hope you are doing well. I am Mohammad, a PhD student of environmental sciences at the University of Arizona.<br>
><br>
> I do appreciate any help that can shed some light on the issue I have: recently I have added a feature to an existing parallel code called 'parswms' which solves water and solute transport in soils. The code uses MPI and parmetis for the parallelization purposes and petsc package (KSPSolve) for solving linear systems. I have it installed on the UofA HPC : the issue is that it works well if the number of CPUs are up to 4! but when I add to this number the numerical linear solver (here it is 'KSPCGS') stops with the error of 'KSP_DIVERGED_NANORINF'.<br>
><br>
> Would you mind please giving me some hints, suggestions or resources in this regard?<br>
><br>
><br>
</span>> Best Regards,<br>
> Mohammad<br>
><br>
><br>
><br>
<br>
</blockquote></div><br></div>