<div dir="ltr"><div dir="ltr">On Mon, Mar 21, 2022 at 11:22 AM Ferrand, Jesus A. <<a href="mailto:FERRANJ2@my.erau.edu">FERRANJ2@my.erau.edu</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="font-family:"Times New Roman",Times,serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
Greetings.</div>
<div style="font-family:"Times New Roman",Times,serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:"Times New Roman",Times,serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
I am having trouble exporting a vertex-based solution field to ParaView when I run my PETSc script in parallel (see screenshots). The smoothly changing field is produced by my serial runs whereas the "messed up" one is produced by my parallel runs. This is
 not a calculation bug, rather, it concerns the vtk output only (the solution field  is the same in parallel and serial). I am using DMPlexVTKWriteAll() but will make the switch to hdf5 sometime.</div></div></blockquote><div><br></div><div>For output, I would suggest keeping it as simple as possible inside your code. For example, I would use</div><div><br></div><div>  Ierr = DMViewFromOptions(dm, NULL, "-dm_view");CHKERRQ(ierr);</div><div>  ierr = VecViewFromOptions(sol, NULL, "-sol_view");CHKERRQ(ierr);</div><div><br></div><div>as the only output in my program (until you need something more sophisticated). Then you could use</div><div><br></div><div>  -sol_view vtk:sol.vtu</div><div><br></div><div>for output, or</div><div><br></div><div>  -dm_view hdf5:sol.h5 -sol_view hdf5:sol.h5::append</div><div><br></div><div>to get HDF5 output. For HDF5 you run</div><div><br></div><div>  ${PETSC_DIR}/lib/bin/petsc_gen_xdmf.py sol.h5</div><div><br></div><div>to get sol.xmf which can be loaded in Paraview.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">
<div style="font-family:"Times New Roman",Times,serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
Anyways, my suspicion is about PetscSection and how I am setting it up. I call PetscSectionSetChart() where my "pStart" and "pEnd" I collect from  DMPlexGetDepthStratum() where "depth" is set to zero (for vertices) and then I call DMSetLocalSection(). After
 tinkering with DMPlex routines, I realize that DMPlexGetDepthStratum() returns "pStart" and "pEnd" in local numbering when the run is in parallel. Thus, I think that my serial output is correct because in that case local numbering matches the global numbering.</div>
<div style="font-family:"Times New Roman",Times,serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:"Times New Roman",Times,serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
So, am I correct in believing that the PetscSectionSetChart() call should be done with global numbering?</div></div></blockquote><div><br></div><div>No, the reason it is DMSetLocalSection() is that the section is explicitly local. Also, even the global section uses local numbering for the points (global point</div><div>numbering is never used inside Plex so that it does not inhibit scalability).</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">
<div style="font-family:"Times New Roman",Times,serif;font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255)">
Also, I noticed that the parallel DMPlex counts ghost vertices towards the "pStart" and "pEnd". So, when I set the chart in the local PetscSection, should I figure out the chart for the owned vertices or can PETSc figure the ghost/owned dilemma when the local
 PetscSections feature overlapping charts?</div></div></blockquote><div><br></div><div>You do not have to. PETSc will do that automatically.</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>
<div id="gmail-m_-8343325581845722667Signature">
<div>
<div style="font-family:"Times New Roman",Times,serif;font-size:12pt;color:rgb(0,0,0)">
</div>
<div></div>
<div></div>
<div id="gmail-m_-8343325581845722667divtagdefaultwrapper" dir="ltr" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif">
<p style="margin-top:0px;margin-bottom:0px">
</p>
<div>
<p style="margin:0px 0px 10.66px">
</p>
<div>
<p style="background:none 0% 0% repeat scroll white;margin:0px 0px 11px;line-height:normal">
<span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">Sincerely:</span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="margin:0px;color:red;font-family:"Courier New",monospace;font-size:14pt"><b><span style="font-family:"Courier New",monospace">J.A. Ferrand</span></b></span><u><span style="margin:0px;color:red;font-family:"Swis721 BlkCn BT",sans-serif;font-size:12pt"></span></u></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">Embry-Riddle Aeronautical University - Daytona Beach FL</span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">M.Sc.</span><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">
 Aerospace Engineering | May 2022</span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">B.Sc.</span><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">
 Aerospace Engineering</span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">B.Sc.</span><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">
 Computational Mathematics</span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin:0px;color:rgb(0,0,0);font-family:"Times New Roman",Times,serif;font-size:12pt"> </span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin:0px;color:black;font-family:Courant;font-size:12pt"><span style="color:rgb(0,0,0);font-family:"Times New Roman",Times,serif;font-size:12pt;background-color:rgb(255,255,255);display:inline">Sigma
 Gamma Tau</span><span style="color:rgb(0,0,0);font-family:"Times New Roman",Times,serif;font-size:12pt;background-color:rgb(255,255,255);display:inline"> </span><br>
</span></p>
<span style="font-family:"Times New Roman",Times,serif"></span>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="margin:0px;color:rgb(0,0,0);font-family:"Times New Roman",Times,serif;font-size:12pt">Tau Beta Pi</span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt"> </span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="font-family:"Times New Roman",Times,serif"></span><u><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">Phone:</span></u><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">
 (386)-843-1829</span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal">
<span style="font-family:"Times New Roman",Times,serif"></span><u><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">Email(s):</span></u><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt">
 <a href="mailto:ferranj2@my.erau.edu" target="_blank">ferranj2@my.erau.edu</a></span></p>
<p style="background:none 0% 0% repeat scroll white;margin:0px;line-height:normal;text-indent:0.5in">
<span style="font-family:"Times New Roman",Times,serif"></span><span style="margin:0px;color:black;font-family:Courant;font-size:12pt"><span style="margin:0px;font-family:"Times New Roman",Times,serif">   
</span></span><span style="margin:0px;color:black;font-family:"Times New Roman",Times,serif;font-size:12pt"><a href="mailto:jesus.ferrand@gmail.com" target="_blank">jesus.ferrand@gmail.com</a></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>

</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>