<div dir="ltr">On Sat, Aug 17, 2013 at 8:07 PM, Jed Brown <span dir="ltr"><<a href="mailto:jedbrown@mcs.anl.gov" target="_blank">jedbrown@mcs.anl.gov</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">Juha Jäykkä <<a href="mailto:juhaj@iki.fi">juhaj@iki.fi</a>> writes:<br>
<br>
> Hi list!<br>
><br>
> I wonder when and why (to make writing faster, I guess) this (and the<br>
> corresponding line in src/vec/vec/impls/mpi/pdvec.c) was added:<br>
><br>
> petsc-3.3-p6/src/dm/impls/da/gr2.c:360:    status = H5Pset_chunk(chunkspace,<br>
> dim, chunkDims); CHKERRQ(status);<br>
><br>
> I know that 3.3.6 is "old", but 3.4.2 performs the same call, so I'm not any<br>
> better off with that.<br>
><br>
> This line causes problems, at least on a Cray XC30 machine, with HDF5 library<br>
> telling me that "#010: H5Dchunk.c line 443 in H5D_chunk_construct(): chunk<br>
> size must be < 4GB."<br>
><br>
> I know chunked IO is good idea, but apparently PETSc uses disallowed<br>
> chunksizes.<br>
<br>
</div>It doesn't make any sense to use a chunk size that is as large as the<br>
entire spatial domain.  As I understand it, H5Pset_chunk has the<br>
restriction that the chunk size cannot be larger than the data, so to be<br>
able to write small data files, PETSc has to set small chunk sizes for<br>
small data.<br>
<br>
I think this issue can be fixed by changing<br>
<br>
  chunkDims[dim] = dims[dim];<br>
<br>
to something like<br>
<br>
  chunkDims[dim] = PetscMin(dims[dim],dim_for_norminal_chunk_size);<br>
<br>
Does anyone have data on what chunk sizes would make a good default? 10<br>
MiB?<br>
</blockquote></div><br>This was not a performance optimization. IIRC, I did this so we could leave the time</div><div class="gmail_extra">domain of unspecified length, and write a chunk of values at each timestep.</div><div class="gmail_extra">
<br></div><div class="gmail_extra">   Matt<br clear="all"><div><br></div>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener
</div></div>