<div dir="ltr"><div dir="ltr">On Mon, Aug 24, 2020 at 4:27 PM Jed Brown <<a href="mailto:jed@jedbrown.org">jed@jedbrown.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Cameron Smith <<a href="mailto:smithc11@rpi.edu" target="_blank">smithc11@rpi.edu</a>> writes:<br>
<br>
> We made some progress with star forest creation but still have work to do.<br>
><br>
> We revisited DMPlexCreateFromCellListParallelPetsc(...) and got it <br>
> working by sequentially partitioning the vertex coordinates across <br>
> processes to satisfy the 'vertexCoords' argument. Specifically, rank 0 <br>
> has the coordinates for vertices with global id 0:N/P-1, rank 1 has <br>
> N/P:2*(N/P)-1, and so on (N is the total number of global vertices and P <br>
> is the number of processes).<br>
><br>
> The consequences of the sequential partition of vertex coordinates in <br>
> subsequent solver operations is not clear.  Does it make process i <br>
> responsible for computations and communications associated with global <br>
> vertices i*(N/P):(i+1)*(N/P)-1 ?  We assumed it does and wanted to confirm.<br>
<br>
Yeah, in the sense that the corners would be owned by the rank you place them on.<br>
<br>
But many methods, especially high-order, perform assembly via non-overlapping partition of elements, in which case the "computations" happen where the elements are (with any required vertex data for the closure of those elements being sent to the rank handling the element).<br>
<br>
Note that a typical pattern would be to create a parallel DMPlex with a naive distribution, then repartition/distribute it.<br>
</blockquote></div><div><br></div>As Jed says, CreateParallel() just makes the most naive partition of vertices because we have no other information. Once<div>the mesh is made, you call DMPlexDistribute() again to reduce the edge cut. </div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div></div>