<div dir="ltr"><div dir="ltr">So, in the latter case, IIUC we can maintain how we distribute data among the processes (partitioning of elements) such that with respect to a `-ksp_view_pmat` nothing changes and our velocity and pressure dofs are interlaced on a global scale (e.g. each process has some velocity and pressure dofs) ... but in order to leverage field split we need those index sets in order to avoid the equal size constraint?<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Nov 1, 2022 at 11:57 PM Jed Brown <<a href="mailto:jed@jedbrown.org">jed@jedbrown.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">In most circumstances, you can and should interlace in some form such that each block in fieldsplit is distributed across all ranks. If you interlace at scalar granularity as described, then each block needs to be able to do that. So for the Stokes equations with equal order elements (like P1-P1 stabilized), you can interlace (u,v,w,p), but for mixed elements (like Q2-P1^discontinuous) you can't interlace in that way. You can still distribute pressure and velocity over all processes, but will need index sets to identify the velocity-pressure splits.<br>
<br>
Alexander Lindsay <<a href="mailto:alexlindsay239@gmail.com" target="_blank">alexlindsay239@gmail.com</a>> writes:<br>
<br>
> In the block matrices documentation, it's stated: "Note that for interlaced<br>
> storage the number of rows/columns of each block must be the same size" Is<br>
> interlacing defined in a global sense, or a process-local sense? So<br>
> explicitly, if I don't want the same size restriction, do I need to ensure<br>
> that globally all of my block 1 dofs are numbered after my block 0 dofs? Or<br>
> do I need to follow that on a process-local level? Essentially in libMesh<br>
> we always follow rank-major ordering. I'm asking whether for unequal row<br>
> sizes, in order to split, would we need to strictly follow variable-major<br>
> ordering (splitting here meaning splitting by variable)?<br>
><br>
> Alex<br>
</blockquote></div></div>