<div dir="ltr"><div dir="ltr">On Thu, Dec 2, 2021 at 12:07 PM Barry Smith <<a href="mailto:bsmith@petsc.dev">bsmith@petsc.dev</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><br></div>I have pushed a branch <a href="https://gitlab.com/petsc/petsc/-/merge_requests/4612" target="_blank">https://gitlab.com/petsc/petsc/-/merge_requests/4612</a> that generates the same edge on two ranks and demonstrates the totally inappropriate PetscSF and vectors that are generated in this case (just look at the output file in the MR changes)</div></blockquote><div><br></div><div>I will go through this carefully. However, I want to note that you are looking at the Section SF,  not the Point SF. How many variables</div><div>are there in your problem? Also, can you print the pointSF as well?</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div>Thoughts on what we should do? I think Jed's idea of dummy vertices is very cumbersome and ugly unless it can be refined somehow. Is there a different way DMPLEX could be utilized to easily support multiple edges? Maybe not using DMPlexBuildFromCellListParallel(), but building the plex some other way? Note that it is clearly theoretically possible to have DMPlexBuildFromCellListParallel() detect a problem and error but I don't know how to do it.<br><div><br></div><div>Barry</div><div><br><div><br></div><div><br><div><br><blockquote type="cite"><div>On Dec 1, 2021, at 8:00 PM, Abhyankar, Shrirang G via petsc-dev <<a href="mailto:petsc-dev@mcs.anl.gov" target="_blank">petsc-dev@mcs.anl.gov</a>> wrote:</div><br><div><div style="font-family:Helvetica;font-size:18px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><div style="margin:0in;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></span></div><div style="margin:0in;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></span></div><div style="border-style:solid none none;border-top-width:1pt;border-top-color:rgb(181,196,223);padding:3pt 0in 0in"><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif"><b><span style="font-size:12pt">From:<span> </span></span></b><span style="font-size:12pt">Matthew Knepley <<a href="mailto:knepley@gmail.com" style="color:blue;text-decoration:underline" target="_blank">knepley@gmail.com</a>><br><b>Date:<span> </span></b>Wednesday, December 1, 2021 at 5:57 PM<br><b>To:<span> </span></b>"Brown, Jedediah A (VISIT)" <<a href="mailto:jed@jedbrown.org" style="color:blue;text-decoration:underline" target="_blank">jed@jedbrown.org</a>><br><b>Cc:<span> </span></b>"Abhyankar, Shrirang G" <<a href="mailto:shrirang.abhyankar@pnnl.gov" style="color:blue;text-decoration:underline" target="_blank">shrirang.abhyankar@pnnl.gov</a>>, PETSc Development <<a href="mailto:petsc-dev@mcs.anl.gov" style="color:blue;text-decoration:underline" target="_blank">petsc-dev@mcs.anl.gov</a>>, Getnet Betrie <<a href="mailto:gbetrie@anl.gov" style="color:blue;text-decoration:underline" target="_blank">gbetrie@anl.gov</a>><br><b>Subject:<span> </span></b>Re: [petsc-dev] DMPLEX cannot support two different edges for the same two vertices, hence DMPLEX cannot?<u></u><u></u></span></div></div><div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></div></div><div style="border-style:none none none solid;border-left-width:6pt;border-left-color:rgb(215,118,0);padding:0in;font-size:1.15rem"><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif;text-align:center;background-color:rgb(247,227,204)"><span style="font-family:Arial,sans-serif">Check twice before you click! This email originated from outside PNNL.</span><span style="font-family:Arial,sans-serif"><u></u><u></u></span></div></div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></div><div><div><div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif">On Wed, Dec 1, 2021 at 6:55 PM Jed Brown <<a href="mailto:jed@jedbrown.org" style="color:blue;text-decoration:underline" target="_blank">jed@jedbrown.org</a>> wrote:<u></u><u></u></div></div><div><blockquote style="border-style:none none none solid;border-left-width:1pt;border-left-color:rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in" type="cite"><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif">Matthew Knepley <<a href="mailto:knepley@gmail.com" style="color:blue;text-decoration:underline" target="_blank">knepley@gmail.com</a>> writes:<br><br>> On Wed, Dec 1, 2021 at 5:17 PM Abhyankar, Shrirang G <<br>><span> </span><a href="mailto:shrirang.abhyankar@pnnl.gov" style="color:blue;text-decoration:underline" target="_blank">shrirang.abhyankar@pnnl.gov</a>> wrote:<br>><br>>> “You can certainly have many fields on a given edge, but I don't know<br>>> what it would mean to have two edges since no topological query could tell<br>>> the difference.”<br>>><br>>><br>>><br>>> The two edges in a power grid represent two parallel power lines that are<br>>> connected between two locations (vertices). There are line ids (stored in<br>>> the component data) to distinguish the two lines.<br>>><br>><br>> Yes, so you can tell the difference in the function space (since difference<br>> current passes down each one), but _topologically_ you cannot. If you put<br>> duplicate cells in, then<br>> some topological queries will give unexpected results, like the join of the<br>> two vertices.<br><br>This could be modeled with some ghost vertices. So instead of<br><br>  a ------ b<br>   \_____/<br><br>you would set up<br><br>  a ---o---- b<br>   \___o___/<br><br>Those ghost vertices don't have to "do" anything, but they make the edges topologically distinct.<br><br>Shri, what problems might this cause?<u></u><u></u></div></blockquote></div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></div><div style="margin:0in;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-size:12pt;font-family:"Times New Roman",serif">I don’t understand the figure you’ve drawn above. Sorry.<u></u><u></u></span></div><div style="margin:0in;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></span></div><div style="margin:0in;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-size:12pt;font-family:"Times New Roman",serif">As a user, would I need to add anything to the way I am setting up the network/plex or any additional equations in the residual evaluation?<u></u><u></u></span></div><div style="margin:0in;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></span></div><div style="margin:0in;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-size:12pt;font-family:"Times New Roman",serif">I do not have any issue right now for the power grid problem since I don’t require DMNetwork or DMPLEX to do the topological distinction between parallel edges. There are unique edge identifiers in my dataset through which I can make this distinction.<u></u><u></u></span></div><div style="margin:0in;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></span></div><div style="margin:0in;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></span></div><div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif">Yes, this would work, but it looks like the multiple cells are not causing them problems right now with the questions they are asking the mesh.<u></u><u></u></div></div><div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></div></div><div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif">   Matt<u></u><u></u></div></div><div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></div></div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif">--<span> </span><u></u><u></u></div><div><div><div><div><div><div><div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener<u></u><u></u></div></div><div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></div></div><div><div style="margin:0in 0in 0in 0.5in;font-size:11pt;font-family:Calibri,sans-serif"><a href="https://gcc02.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.cse.buffalo.edu%2F~knepley%2F&data=04%7C01%7Cshrirang.abhyankar%40pnnl.gov%7Cbcbb40fc51f6428ac17708d9b5264361%7Cd6faa5f90ae240338c0130048a38deeb%7C0%7C0%7C637739998211230005%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=Sg7eEbjzkSqVd6Sjg8IpTN3iXxMAvih0UNV0fkolO8w%3D&reserved=0" style="color:blue;text-decoration:underline" target="_blank">https://www.cse.buffalo.edu/~knepley/</a></div></div></div></div></div></div></div></div></div></div></div></div></blockquote></div><br></div></div></div></div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>