<div dir="ltr">Mathieu, <div>We have "FieldSplit" support for fields, but I don't know if it has ever been pushed to 1000's of fields so it might fall down. It might work.</div><div>FieldSplit lets you manipulate the ordering, say field major (j) or node major (i).</div><div>What was unsatisfactory?</div><div>It sounds like you made a rectangular matrix A(1000,3e5) . Is that correct?</div><div>Mark</div><div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 11, 2021 at 3:27 AM Mathieu Dutour <<a href="mailto:mathieu.dutour@gmail.com">mathieu.dutour@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Dear all,<div><br></div><div>I would like to work with a special kind of linear system that ought to be</div><div>very common but I am not sure that it is possible in PETSC.</div><div><br></div><div>What we have is an unstructured grid with say 3.10^5 nodes in it.</div><div>At each node, we have a number of frequency/direction and together</div><div>this makes about 1000 values at the node. So, in total the linear system</div><div>has say 3.10^8 values.</div><div><br></div><div>We managed to implement this system with Petsc but the performance</div><div>was unsatisfactory. We think that Petsc is not exploiting the special</div><div>structure of the matrix and we wonder if this structure can be implemented</div><div>in Petsc.</div><div><br></div><div>By special structure we mean the following. An entry in the linear system</div><div>is of the form (i, j) with 1<=i<=1000 and 1<=j<=N   with N = 3.10^5.</div><div>The node (i , j) is adjacent to all the nodes (i' , j) and thus they make a block</div><div>diagonal entry. But the node (i , j) is also adjacent to some nodes (i , j')</div><div>[About 6 such nodes, but it varies].</div><div><br></div><div>Would there be a way to exploit this special structure in Petsc? I think</div><div>this should be fairly common and significant speedup could be obtained.</div><div><br></div><div>Best,</div><div><br></div><div>  Mathieu</div></div>
</blockquote></div>