<div dir="ltr">Attached is the configure.log for the case where --download-hdf5 failed.<div><br></div><div>For the run time error, the IS has only 298.8M entries (from ISGetSize).  So, it shouldn't need a 64 bit integer.  In addition, I was able to get the right output when petsc builds its own hdf5.  In addition, I don't have an issue as well if I am using the Petsc Binary Viewer.   If this is really an issue with NERSC's libraries, then I will work with NERSC to see if they can help me figure out what is wrong.</div><div><br></div><div>Thanks</div><div>George</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Jul 3, 2016 at 3:13 PM, Barry Smith <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
   Please send $PETSC_ARCH/lib/petsc/conf/configure.log for both cases to <a href="mailto:petsc-maint@mcs.anl.gov">petsc-maint@mcs.anl.gov</a>.<br>
<br>
   The fact that it kicks in for very large problems and reports a negative block length is indicative of a 64 bit integer not fitting into a 32 bit integer location.<br>
<span class="HOEnZb"><font color="#888888"><br>
   Barry<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
> On Jul 2, 2016, at 5:53 PM, George Pau <<a href="mailto:gpau@lbl.gov">gpau@lbl.gov</a>> wrote:<br>
><br>
> Hi,<br>
><br>
> I am trying to debug an error I am getting when using the HDF5 viewer.  I am working on NERSC systems, and they have a precompiled hdf5 (module cray-hdf5-parallel).  When I linked petsc libraries to their hdf5 libraries, it gives the following error at run time when I tried to do a ISView:<br>
><br>
> Rank 0 [Sat Jul  2 15:34:48 2016] [c0-0c0s15n0] Fatal error in MPI_Type_create_hindexed: Invalid argument, error stack:<br>
> MPI_Type_create_hindexed(150): MPI_Type_create_hindexed(count=1, array_of_blocklengths=0x478b1e0, array_of_displacements=0x478b200, MPI_BYTE, newtype=0x7fffffff3598) failed<br>
> MPI_Type_create_hindexed(98).: Invalid value for blocklength, must be non-negative but is -1927660792<br>
><br>
> The hdf5 version on NERSC is 1.8.16 but the version that PETSc downloaded when using --download-hdf5 is 1.8.12. So, could the error be due to this difference? I also see the above error only when the length of the IS is big (tested for about 200M total entries, using 1024 cores).<br>
><br>
> I don't have these errors when I used --download-hdf5=1 during configure step.  However, while I was able to use --download-hdf5=1 on Edison, PETSc was not able to compile hdf5 libraries properly on Cori.  The OS of Cori was recently updated.  My primary interest in trying to use the version provided by NERSC is to see if there is any improvement in the IO performance.<br>
><br>
> Thanks,<br>
> George<br>
><br>
><br>
> --<br>
> George Pau<br>
> Earth Sciences Division<br>
> Lawrence Berkeley National Laboratory<br>
> One Cyclotron, MS 74R316C<br>
> Berkeley, CA 94720<br>
><br>
> (510) 486-7196<br>
> <a href="mailto:gpau@lbl.gov">gpau@lbl.gov</a><br>
> <a href="http://esd.lbl.gov/profiles/george-shu-heng-pau/" rel="noreferrer" target="_blank">http://esd.lbl.gov/profiles/george-shu-heng-pau/</a><br>
<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)">George Pau</span><br style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)"><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)">Earth Sciences Division</span><br style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)"><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)">Lawrence Berkeley National Laboratory</span><br style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)"><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)">One Cyclotron, MS 74R316C</span><br style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)"><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)">Berkeley, CA 94720</span><br style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)"><br style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)">(510) 486-7196<br style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)"><a href="mailto:gpau@lbl.gov" style="color:rgb(17,85,204);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)" target="_blank">gpau@lbl.gov</a><br style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)"><a href="http://esd.lbl.gov/about/staff/georgepau/" style="color:rgb(17,85,204);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)" target="_blank">http://esd.lbl.gov/profiles/george-shu-heng-pau/</a><br></div></div></div></div></div>
</div>