<div dir="ltr">I seem to have confirmed that making the change suggested by Lawrence fixes things in our <div>case. Some alternate runs by a colleague that result in a blocksize 12 matrix also work</div><div>fine - I think in that case MAtMultAdd_SeqBAIJ_N must be being used as I can't find</div><div>a blocksize 12 analogue.</div><div><br></div><div>Is there by any chance a setting somewhere that can tell petsc to override the use of </div><div>blocksize specific routines like this and always go to, e.g., MatMultAdd_SeqBAIJ_N</div><div>etc? Might be useful as a short term fix.</div><div><br></div><div>Thanks,</div><div><br></div><div>Daniel</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Sep 21, 2021 at 11:50 AM Lawrence Mitchell <<a href="mailto:wence@gmx.li">wence@gmx.li</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Daniel,<br>
<br>
> On 21 Sep 2021, at 11:19, Daniel Stone <<a href="mailto:daniel.stone@opengosim.com" target="_blank">daniel.stone@opengosim.com</a>> wrote:<br>
> <br>
> Hello,<br>
> <br>
> If we look at lines 2330-2331 in file baij2.c, it looks like there are some <br>
> mistakes in assigning the `sum..` variables to the z array, causing<br>
> the function MatMultAdd_SeqBAIJ_11() to not produce the correct<br>
> answer.<br>
> <br>
> I don't have a good example program to demonstrate this yet - it's<br>
> currently causing problems in a dev branch of pflotan_ogs that<br>
> can produce blocksize 11 matrices. When in parallel, a standard<br>
> matrix-vector multiplication calls MatMultAdd for the off-proc<br>
> contributions, and the result is wrong when this is redirected<br>
> to MatMultAdd_SeqBAIJ_11. Seems to be the root cause of<br>
> several solvers failing such as fgmres.<br>
> <br>
> Can anyone confirm that these two lines seem incorrect?<br>
<br>
Looks wrong to me, I guess this patch is correct?<br>
<br>
diff --git a/src/mat/impls/baij/seq/baij2.c b/src/mat/impls/baij/seq/baij2.c<br>
index 2849ef9051..65513c8989 100644<br>
--- a/src/mat/impls/baij/seq/baij2.c<br>
+++ b/src/mat/impls/baij/seq/baij2.c<br>
@@ -2328,7 +2328,7 @@ PetscErrorCode MatMultAdd_SeqBAIJ_11(Mat A,Vec xx,Vec yy,Vec zz)<br>
       v    += 121;<br>
     }<br>
     z[0] = sum1; z[1] = sum2; z[2] = sum3; z[3] = sum4; z[4] = sum5; z[5] = sum6; z[6] = sum7;<br>
-    z[7] = sum6; z[8] = sum7; z[9] = sum8; z[10] = sum9; z[11] = sum10;<br>
+    z[7] = sum8; z[8] = sum9; z[9] = sum10; z[10] = sum11;<br>
     if (!usecprow) {<br>
       z += 11; y += 11;<br>
     }<br>
<br>
<br>
Lawrence</blockquote></div>