<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-2">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Hi Jiri,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
HDF5 should be generally supported for any version greater than 1.8.<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
The Darshan error you're seeing indicates that Darshan believes it was configured with a version less than 1.10 (which it then complains about since it sees version 1.12 at runtime). You should see a line like this in the configure output for darshan-runtime:<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<blockquote style="border-color: rgb(200, 200, 200); border-left: 3px solid rgb(200, 200, 200); padding-left: 1ex; margin-left: 0.8ex; color: rgb(102, 102, 102);" itemscope="" itemtype="https://schemas.microsoft.com/QuotedText">
           HDF5          module support  - no<br>
</blockquote>
In my case above, HDF5 support wasn't enabled, but if HDF5 is enabled it will indicate what version it found at configure time. We should make sure that says 1.12 as a starting point. Darshan is indirectly determining the version by running 'h5dump --version',
 so might be good to sanity check that 'h5dump' in PATH is associated with the 1.12 HDF5 install you are trying to use.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
I should note that in my experience, getting h5py working right with Darshan was a challenge. I tried once and had some issues, but one of our Python contributors indicated they have gotten it to work in the past -- in their case, they recommended building
 h5py from source according to these directions: <a href="https://docs.h5py.org/en/stable/build.html#custom-installation" id="LPNoLPOWALinkPreview">
https://docs.h5py.org/en/stable/build.html#custom-installation</a><br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Maybe you are already doing that? The trick is to use an external HDF5 install (i.e., not one packaged with h5py python wheels) that you then use to build both h5py and Darshan. I could try to get further myself if we can't figure out how to get it working
 for you.<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Thanks,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
--Shane<br>
</div>
<div id="appendonsend"></div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> Darshan-users <darshan-users-bounces@lists.mcs.anl.gov> on behalf of Jiří Nádvorník <nadvornik.ji@gmail.com><br>
<b>Sent:</b> Wednesday, April 27, 2022 12:29 PM<br>
<b>To:</b> darshan-users@lists.mcs.anl.gov <darshan-users@lists.mcs.anl.gov><br>
<b>Subject:</b> [Darshan-users] HDF5 version support</font>
<div> </div>
</div>
<div>
<div dir="ltr">Hi all,
<div><br>
</div>
<div>I was able to successfully run the darshan runtime without any warnings withou HDF5.</div>
<div><br>
</div>
<div>
<div>Now when I compile with HDF5 (the results above are without it):</div>
<div>./configure --with-log-path=/gpfs/raid/darshan-logs --with-jobid-env=PBS_JOBID CC=mpicc --enable-hdf5-mod --with-hdf5=/gpfs/raid/SDSSCube/ext_lib//hdf5-1.12.0/hdf5/<br>
</div>
<div><br>
</div>
<div>It messes up my runtime and causes python to crash:</div>
<div>mpirun -x DARSHAN_CONFIG_PATH=/gpfs/raid/SDSSCube/darshan.conf -x LD_PRELOAD=/gpfs/raid/shared_libs/darshan/darshan-runtime/lib/.libs/libdarshan.so:/gpfs/raid/SDSSCube/ext_lib/hdf5-1.12.0/hdf5/lib/libhdf5.so -np 65 --hostfile hosts --map-by node /gpfs/raid/SDSSCube/venv_par/bin/python
 hisscube.py --truncate ../sdss_data/ results/SDSS_cube_c_par.h5<br>
</div>
<div><br>
</div>
<div>Resulting in:</div>
<div>INFO:rank[0]:Rank 0 pid: 137058<br>
Darshan HDF5 module error: runtime library version (1.12) incompatible with Darshan module (1.10-).<br>
Traceback (most recent call last):<br>
  File "hisscube.py", line 74, in <module><br>
    writer.ingest(fits_image_path, fits_spectra_path, truncate_file=args.truncate)<br>
  File "/gpfs/raid/SDSSCube/hisscube/ParallelWriterMWMR.py", line 45, in ingest<br>
    self.process_metadata(image_path, image_pattern, spectra_path, spectra_pattern, truncate_file)<br>
  File "/gpfs/raid/SDSSCube/hisscube/CWriter.py", line 150, in process_metadata<br>
    h5_file = self.open_h5_file_serial(truncate_file)<br>
  File "/gpfs/raid/SDSSCube/hisscube/CWriter.py", line 170, in open_h5_file_serial<br>
    return h5py.File(self.h5_path, 'w', fs_strategy="page", fs_page_size=4096, libver="latest")<br>
  File "/gpfs/raid/SDSSCube/venv_par/lib/python3.8/site-packages/h5py-3.6.0-py3.8-linux-x86_64.egg/h5py/_hl/files.py", line 533, in __init__<br>
    fid = make_fid(name, mode, userblock_size, fapl, fcpl, swmr=swmr)<br>
  File "/gpfs/raid/SDSSCube/venv_par/lib/python3.8/site-packages/h5py-3.6.0-py3.8-linux-x86_64.egg/h5py/_hl/files.py", line 232, in make_fid<br>
    fid = h5f.create(name, h5f.ACC_TRUNC, fapl=fapl, fcpl=fcpl)<br>
  File "h5py/_objects.pyx", line 54, in h5py._objects.with_phil.wrapper<br>
  File "h5py/_objects.pyx", line 55, in h5py._objects.with_phil.wrapper<br>
  File "h5py/h5f.pyx", line 126, in h5py.h5f.create<br>
  File "h5py/defs.pyx", line 693, in h5py.defs.H5Fcreate<br>
RuntimeError: Unspecified error in H5Fcreate (return value <0)<br>
</div>
<div><br>
</div>
<div>You are saying that darshan should be compatible with HDF5 > 1.8, which 1.12 should be, right? I checked the source and there is hardcoded if minor version > 10: not supported.</div>
<div><br>
</div>
<div>Thanks for explaining what's supported.</div>
<div><br>
</div>
<div>Cheers,</div>
<div><br>
</div>
<div>Jiri Nadvornik</div>
</div>
</div>
</div>
</body>
</html>