<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Fri, Jan 20, 2017 at 10:49 AM, Hong <span dir="ltr"><<a href="mailto:hzhang@mcs.anl.gov" target="_blank">hzhang@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Matt,<br><div class="gmail_extra"><div class="gmail_quote">By default, the flag C->submat_singleis = false. </div><div class="gmail_quote">In PCSetUp_ASM(), we set it as 'true' to use MatGetSubMatrices_MPIAIJ_<wbr>SingleIS().</div><div class="gmail_quote"><br></div><div class="gmail_quote">Can you check the value of this flag in your case?</div></div></div></blockquote><div><br></div><div>The problem is the following:</div><div><br></div><div>  1) We use MatGetSubMatrices() to extract small matrices in order to form a preconditioner</div><div><br></div><div>  2) We do this at each Newton iteration</div><div><br></div><div>  3) We use ASM as a preconditioner for the eventual Newton solve</div><div><br></div><div>  4) The second time we call MatGetSubMatrices(), it has this flag set, even though we are using multiple ISes</div><div><br></div><div>Solution: ALSO check that the user is in fact passing a single IS.</div><div><br></div><div>  Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><span class="gmail-"><div class="gmail_quote">Hong<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div><div class="gmail-m_6158808295182447409gmail-h5"><div class="gmail_quote"><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">It comes from here:<div><br></div><div>  <a href="https://bitbucket.org/petsc/petsc/commits/c10200c1442b553b7ad65c70101560db4fa22e78" target="_blank">https://bitbucket.org/petsc/<wbr>petsc/commits/c10200c1442b553b<wbr>7ad65c70101560db4fa22e78</a></div><div><br></div><div>If we ask for more than 1 matrix, it dispatches to</div><div><br></div><div>  MatGetSubMatrices_MPIAIJ_Sin<wbr>gleIS()</div><div><br></div><div>but then fails here</div><div><br></div><div>  <a href="https://bitbucket.org/petsc/petsc/annotate/2e559809f9aee9c95ee79eb0939630cfe5502c8d/src/mat/impls/aij/mpi/mpiov.c?at=master&fileviewer=file-view-default#mpiov.c-1306" target="_blank">https://bitbucket.org/petsc/<wbr>petsc/annotate/2e559809f9aee9c<wbr>95ee79eb0939630cfe5502c8d/src/<wbr>mat/impls/aij/mpi/mpiov.c?at=m<wbr>aster&fileviewer=file-view-def<wbr>ault#mpiov.c-1306</a></div><div><br></div><div>because ismax > 1. I think the ismax check needs to move up to here</div><div><br></div><div>  <a href="https://bitbucket.org/petsc/petsc/annotate/2e559809f9aee9c95ee79eb0939630cfe5502c8d/src/mat/impls/aij/mpi/mpiov.c?at=master&fileviewer=file-view-default#mpiov.c-2012" target="_blank">https://bitbucket.org/petsc/<wbr>petsc/annotate/2e559809f9aee9c<wbr>95ee79eb0939630cfe5502c8d/src/<wbr>mat/impls/aij/mpi/mpiov.c?at=m<wbr>aster&fileviewer=file-view-def<wbr>ault#mpiov.c-2012</a></div><div><br></div><div>but I don't know for sure. Please fix this since it is breaking PyLith.</div><div><br></div><div>  Matt<span class="gmail-m_6158808295182447409gmail-m_-8992886122683324450gmail-HOEnZb"><font color="#888888"><br clear="all"><div><br></div>-- <br><div class="gmail-m_6158808295182447409gmail-m_-8992886122683324450gmail-m_-6080241473301409647gmail_signature">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div>
</font></span></div></div>
</blockquote></div><br></div></div></div></div>
</blockquote></div><br></span></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div>
</div></div>