<div dir="auto">This is failing setting the chunksize: <div><a href="https://gitlab.com/petsc/petsc/-/blob/main/src/dm/impls/da/gr2.c#L517">https://gitlab.com/petsc/petsc/-/blob/main/src/dm/impls/da/gr2.c#L517</a></div><div><br></div><div dir="auto">It is hard for me to follow this code, but it looks like the chunk is just set to the total extent of the DA (on the process?). This can grow too large for HDF5, which has limits described here  <a href="https://support.hdfgroup.org/HDF5/doc/Advanced/Chunking/">https://support.hdfgroup.org/HDF5/doc/Advanced/Chunking/</a></div><div dir="auto"><br></div><div dir="auto">chunks must have fewer than 2^32-1 elements and a max size of 4GB</div><div dir="auto"><br></div><div dir="auto">I suspect you’re hitting that limit. </div><div dir="auto"><br></div><div dir="auto">I guess this part of the code should be fully refactored to set sensible chunk sizes. That same document suggests 1MB is a good option. </div><div dir="auto"><br></div><div dir="auto">Lawrence</div></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 26 Nov 2021 at 15:10, David Scott <<a href="mailto:d.scott@epcc.ed.ac.uk">d.scott@epcc.ed.ac.uk</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)">Hello,<br>
<br>
I am trying to write out HDF5 files. The program I have works all right<br>
up to a point but then fails when I double the size of the file that I<br>
am trying to write out. I have attached a file containing the error<br>
message and another file containing the short program that I used to<br>
generate it.<br>
<br>
The first of these files reports that Petsc 3.14.2 was used. I know that<br>
this is old but I have obtained the same result with Petsc 3.16.1. Also,<br>
I have observed the same behaviour on two different machines. I tried<br>
using 64 bit indices but it made no difference.<br>
<br>
The program runs successfully with the following command line options<br>
<br>
-global_dim_x 1344 -global_dim_y 336 -global_dim_z 336<br>
<br>
but fails with these<br>
<br>
-global_dim_x 2688 -global_dim_y 336 -global_dim_z 336<br>
<br>
All the best,<br>
<br>
David<br>
<br>
The University of Edinburgh is a charitable body, registered in Scotland, with registration number SC005336. Is e buidheann carthannais a th’ ann an Oilthigh Dhùn Èideann, clàraichte an Alba, àireamh clàraidh SC005336.<br>
</blockquote></div></div>