<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Jun 26, 2016 at 5:43 PM, Fande Kong <span dir="ltr"><<a href="mailto:fdkong.jd@gmail.com" target="_blank">fdkong.jd@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">Mark,<div><br></div><div>Size of the index set is smaller than size of pmat in your case?  </div></div></blockquote><div><br></div><div>I've added in the BC vertices into a dummy domain, which will just be a diagonal matrix, so there is complete "cover" now.  It works in serial.  </div><div><br></div><div>It does not work in parallel. If I change the number of processor, for ex56 in ksp/kps/examples/tutorials, from 1 to 8 I get this error:</div><div><br></div><div><div> mark/gamg-agg-gasm *= ~/Codes/petsc/src/ksp/ksp/examples/tutorials$ make runex56</div><div>1,4c1,198</div><div>< Linear solve converged due to CONVERGED_RTOL iterations 8</div><div>< Linear solve converged due to CONVERGED_RTOL iterations 8</div><div>< Linear solve converged due to CONVERGED_RTOL iterations 8</div><div>< [0]main |b-Ax|/|b|=1.940043e-04, |b|=4.969822e+00, emax=9.926090e-01</div><div>---</div><div>> [4]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------</div><div>> [4]PETSC ERROR: Nonconforming object sizes</div><div>> [4]PETSC ERROR: Vector wrong size 192 for scatter 201 (scatter forward and vector from != ctx from size)</div></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>They should be the same. I do not think we ever considered the index set has a different size from that of Pmat.</div><span class=""><font color="#888888"><div><br></div><div>Fande,</div></font></span></div><div class=""><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Jun 26, 2016 at 7:09 AM, Mark Adams <span dir="ltr"><<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">GASM does assume the index set includes every equation in the matrix.  It should probably check this as it has pmat.<div><br></div><div>I guess I can add these BC vertices in.</div></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Jun 26, 2016 at 11:20 AM, Mark Adams <span dir="ltr"><<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra">Fande,</div><div class="gmail_extra"><br></div><div class="gmail_extra">An alternative debug path that may be simpler and direct, as it works with master:  'make runex56' in ksp/examples/tutorials in branch mark/gamg-agg-asm.</div><div class="gmail_extra"><br></div><div class="gmail_extra">This runs clean in valgrind (for me), I've added an ISView call to see the data that causes the error, it runs on one processor, uses a 3^3 cell grid (tiny), it exits cleanly with the error:</div><div class="gmail_extra"><br></div><div class="gmail_extra"> ....</div><div class="gmail_extra"><div class="gmail_extra">87 189</div><div class="gmail_extra">88 190</div><div class="gmail_extra">89 191</div></div><div class="gmail_extra"><span><div class="gmail_extra">> [0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------</div></span><div class="gmail_extra">> [0]PETSC ERROR: Argument out of range</div><div class="gmail_extra">> [0]PETSC ERROR: Index 144 at 42 location greater than max 144</div><div class="gmail_extra"><div class="gmail_extra">[0]PETSC ERROR: #1 VecScatterCheckIndices_Private() line 39 in /Users/markadams/Codes/petsc/src/vec/vec/utils/vscat.c</div><div class="gmail_extra">[0]PETSC ERROR: #2 VecScatterCreate() line 1227 in /Users/markadams/Codes/petsc/src/vec/vec/utils/vscat.c</div><div class="gmail_extra">[0]PETSC ERROR: #3 PCSetUp_GASM() line 481 in /Users/markadams/Codes/petsc/src/ksp/pc/impls/gasm/gasm.c</div></div><div>  ....</div><div><br></div><div>This index 144 is very suspicious to me because there are 144 REAL dofs in this test, 192 "gross" dofs, minus (48) boundary conditions. This problem has just two aggregates with sizes 54 & 90 (=144). (I strip out the BC vertices.)</div><div><br></div><div>Maybe GASM is getting confused because I do not give it domains that cover the entire mesh (I strip out BC vertices).  GASM thinks there are 144 equations in this system when in fact there are 192.</div><div><br></div><div>It looks to me like GASM is working a space stripped of BCs but it is using my indices that are in the full space.</div><span><font color="#888888"><div><br></div><div>Mark</div><div><br></div><div><br></div></font></span></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div></div>