<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
Greetings.</div>
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
I am having trouble exporting a vertex-based solution field to ParaView when I run my PETSc script in parallel (see screenshots). The smoothly changing field is produced by my serial runs whereas the "messed up" one is produced by my parallel runs. This is
 not a calculation bug, rather, it concerns the vtk output only (the solution field  is the same in parallel and serial). I am using DMPlexVTKWriteAll() but will make the switch to hdf5 sometime.<br>
</div>
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
Anyways, my suspicion is about PetscSection and how I am setting it up. I call PetscSectionSetChart() where my "pStart" and "pEnd" I collect from  DMPlexGetDepthStratum() where "depth" is set to zero (for vertices) and then I call DMSetLocalSection(). After
 tinkering with DMPlex routines, I realize that DMPlexGetDepthStratum() returns "pStart" and "pEnd" in local numbering when the run is in parallel. Thus, I think that my serial output is correct because in that case local numbering matches the global numbering.</div>
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
So, am I correct in believing that the PetscSectionSetChart() call should be done with global numbering?</div>
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
Also, I noticed that the parallel DMPlex counts ghost vertices towards the "pStart" and "pEnd". So, when I set the chart in the local PetscSection, should I figure out the chart for the owned vertices or can PETSc figure the ghost/owned dilemma when the local
 PetscSections feature overlapping charts?<br>
</div>
<div>
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div id="Signature">
<div>
<div style="font-family: "Times New Roman", Times, serif; font-size: 12pt; color: rgb(0, 0, 0);">
</div>
<div></div>
<div></div>
<div id="divtagdefaultwrapper" dir="ltr" style="font-size: 12pt; color: rgb(0, 0, 0); font-family: Calibri, Helvetica, sans-serif;">
<p style="margin-top: 0px; margin-bottom: 0px;margin-top:0px; margin-bottom:0px; margin-top:0px; margin-bottom:0px; margin-top:0; margin-bottom:0">
</p>
<div>
<p style="margin-top: 0px; margin-bottom: 0px;margin-top:0px; margin-bottom:0px; margin-top:0px; margin-bottom:0px; margin:0px 0px 10.66px">
</p>
<div>
<p style="background: white none repeat scroll 0% 0%; margin: 0px 0px 11px; line-height: normal;">
<span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">Sincerely:</span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="margin: 0px; color: red; font-family: "Courier New", monospace; font-size: 14pt;"><b style=""><span style="font-family:"Courier New",monospace">J.A. Ferrand</span></b></span><u><span style="margin: 0px; color: red; font-family: "Swis721 BlkCn BT", sans-serif; font-size: 12pt;"></span></u></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">Embry-Riddle Aeronautical University - Daytona Beach FL</span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">M.Sc.</span><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">
 Aerospace Engineering | May 2022</span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">B.Sc.</span><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">
 Aerospace Engineering</span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">B.Sc.</span><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">
 Computational Mathematics</span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin: 0px; color: rgb(0, 0, 0); font-family: "Times New Roman", Times, serif; font-size: 12pt;"> </span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin: 0px; color: black; font-family: Courant; font-size: 12pt;"><span style="color: rgb(0, 0, 0); font-family: "Times New Roman", Times, serif; font-size: 12pt; display: inline !important; font-size-adjust: none; background-color: rgb(255, 255, 255);">Sigma
 Gamma Tau</span><span style="color: rgb(0, 0, 0); font-family: "Times New Roman", Times, serif; font-size: 12pt; display: inline !important; font-size-adjust: none; background-color: rgb(255, 255, 255);"> </span><br>
</span></p>
<span style="font-family:"Times New Roman",Times,serif"></span>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="margin: 0px; color: rgb(0, 0, 0); font-family: "Times New Roman", Times, serif; font-size: 12pt;">Tau Beta Pi</span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;"> </span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="font-family:"Times New Roman",Times,serif"></span><u><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">Phone:</span></u><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">
 (386)-843-1829</span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal;">
<span style="font-family:"Times New Roman",Times,serif"></span><u><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">Email(s):</span></u><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">
 ferranj2@my.erau.edu</span></p>
<p style="background: white none repeat scroll 0% 0%; margin: 0px; line-height: normal; text-indent: 0.5in;">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin: 0px; color: black; font-family: Courant; font-size: 12pt;"><span style="margin:0px; font-family:"Times New Roman",Times,serif">   
</span></span><span style="margin: 0px; color: black; font-family: "Times New Roman", Times, serif; font-size: 12pt;">jesus.ferrand@gmail.com</span></p>
</div>
</div>
</div>
</div>
</div>
</div>
</body>
</html>