<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Jun 23, 2015 at 12:39 PM, Dominic Meiser <span dir="ltr"><<a href="mailto:dmeiser@txcorp.com" target="_blank">dmeiser@txcorp.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Matt,<br>
<br>
Thanks for your suggestion. I rebuilt with --with-64-bit-indices=1 but I get the same result. Any other ideas?<br></blockquote><div><br></div><div>There could be a bug with the calculation of chunksize. I will run your example as soon as I can.</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Cheers,<br>
Dominic<br>
<br>
On 06/23/2015 09:23 AM, Matthew Knepley wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On Tue, Jun 23, 2015 at 9:38 AM, Dominic Meiser <<a href="mailto:dmeiser@txcorp.com" target="_blank">dmeiser@txcorp.com</a><br>
<mailto:<a href="mailto:dmeiser@txcorp.com" target="_blank">dmeiser@txcorp.com</a>>> wrote:<br>
<br>
    Hi,<br>
<br>
    I'm running into an issue with the Hdf5 viewer. For parallel vectors<br>
    of length larger than 2^16 I get the error message below. The vector<br>
    is created from a 1D DMDA with 2 dofs. Serial vectors work fine as<br>
    do vectors of length <= 2^16. The error message is reproduced below.<br>
    The issue can be reproduced with the attached example with 'mpirun<br>
    -np 2 ./testcase -da_grid_x 65537'.<br>
<br>
    Do I need to configure the viewer in some way before using it?<br>
<br>
<br>
You may have to configure with --with-64-bit-indices<br>
<br>
   Thanks,<br>
<br>
     Matt<br>
<br>
    Thanks,<br>
    Dominic<br>
<br>
<br>
<br>
    HDF5-DIAG: Error detected in HDF5 (1.8.12) MPI-process 0:<br>
       #000: H5D.c line 170 in H5Dcreate2(): unable to create dataset<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
       #001: H5Dint.c line 439 in H5D__create_named(): unable to create<br>
    and link to dataset<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
       #002: H5L.c line 1638 in H5L_link_object(): unable to create new<br>
    link to object<br>
         major: Links<br>
         minor: Unable to initialize object<br>
       #003: H5L.c line 1882 in H5L_create_real(): can't insert link<br>
         major: Symbol table<br>
         minor: Unable to insert object<br>
       #004: H5Gtraverse.c line 861 in H5G_traverse(): internal path<br>
    traversal failed<br>
         major: Symbol table<br>
         minor: Object not found<br>
       #005: H5Gtraverse.c line 641 in H5G_traverse_real(): traversal<br>
    operator failed<br>
         major: Symbol table<br>
         minor: Callback failed<br>
       #006: H5L.c line 1685 in H5L_link_cb(): unable to create object<br>
         major: Object header<br>
         minor: Unable to initialize object<br>
       #007: H5O.c line 3015 in H5O_obj_create(): unable to open object<br>
         major: Object header<br>
    HDF5-DIAG: Error detected in HDF5 (1.8.12) MPI-process 1:<br>
       #000: H5D.c line 170 in H5Dcreate2(): unable to create dataset<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
       #001: H5Dint.c line 439 in H5D__create_named(): unable to create<br>
    and link to dataset<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
       #002: H5L.c line 1638 in H5L_link_object(): unable to create new<br>
    link to object<br>
         major: Links<br>
         minor: Unable to initialize object<br>
       #003: H5L.c line 1882 in H5L_create_real(): can't insert link<br>
         major: Symbol table<br>
         minor: Unable to insert object<br>
       #004: H5Gtraverse.c line 861 in H5G_traverse(): internal path<br>
    traversal failed<br>
         major: Symbol table<br>
         minor: Object not found<br>
       #005: H5Gtraverse.c line 641 in H5G_traverse_real(): traversal<br>
    operator failed<br>
         major: Symbol table<br>
         minor: Callback failed<br>
       #006: H5L.c line 1685 in H5L_link_cb(): unable to create object<br>
         major: Object header<br>
         minor: Unable to initialize object<br>
       #007: H5O.c line 3015 in H5O_obj_create(): unable to open object<br>
         major: Object header<br>
         minor: Can't open object<br>
       #008: H5Doh.c line 293 in H5O__dset_create(): unable to create<br>
    dataset<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
       #009: H5Dint.c line 1044 in H5D__create(): unable to construct<br>
    layout information<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
       #010: H5Dchunk.c line 539 in H5D__chunk_construct(): chunk size<br>
    must be <= maximum dimension size for fixed-sized dimensions<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
         minor: Can't open object<br>
       #008: H5Doh.c line 293 in H5O__dset_create(): unable to create<br>
    dataset<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
       #009: H5Dint.c line 1044 in H5D__create(): unable to construct<br>
    layout information<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
       #010: H5Dchunk.c line 539 in H5D__chunk_construct(): chunk size<br>
    must be <= maximum dimension size for fixed-sized dimensions<br>
         major: Dataset<br>
         minor: Unable to initialize object<br>
    [0]PETSC ERROR: [1]PETSC ERROR: --------------------- Error Message<br>
    --------------------------------------------------------------<br>
    --------------------- Error Message<br>
    --------------------------------------------------------------<br>
    [0]PETSC ERROR: [1]PETSC ERROR: Error in external library<br>
    Error in external library<br>
    [0]PETSC ERROR: Error in HDF5 call H5Dcreate2() Status -1<br>
    [0]PETSC ERROR: [1]PETSC ERROR: Error in HDF5 call H5Dcreate2()<br>
    Status -1<br>
    [1]PETSC ERROR: See<br>
    <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble<br>
    shooting.<br>
    See <a href="http://www.mcs.anl.gov/petsc/documentation/faq.html" rel="noreferrer" target="_blank">http://www.mcs.anl.gov/petsc/documentation/faq.html</a> for trouble<br>
    shooting.<br>
    [0]PETSC ERROR: Petsc Release Version 3.6.0, unknown<br>
    [0]PETSC ERROR: [1]PETSC ERROR: Petsc Release Version 3.6.0, unknown<br>
    [1]PETSC ERROR: ./testcase on a fftw_test named <a href="http://longspeak.txcorp.com" rel="noreferrer" target="_blank">longspeak.txcorp.com</a><br>
    <<a href="http://longspeak.txcorp.com" rel="noreferrer" target="_blank">http://longspeak.txcorp.com</a>> by dmeiser Mon Jun 22 16:59:21 2015<br>
    ./testcase on a fftw_test named <a href="http://longspeak.txcorp.com" rel="noreferrer" target="_blank">longspeak.txcorp.com</a><br>
    <<a href="http://longspeak.txcorp.com" rel="noreferrer" target="_blank">http://longspeak.txcorp.com</a>> by dmeiser Mon Jun 22 16:59:21 2015<br>
    [0]PETSC ERROR: Configure options --download-hdf5=1<br>
    --download-fftw=1 --with-mpi=1 PETSC_ARCH=fftw_test<br>
    [0]PETSC ERROR: [1]PETSC ERROR: Configure options --download-hdf5=1<br>
    --download-fftw=1 --with-mpi=1 PETSC_ARCH=fftw_test<br>
    [1]PETSC ERROR: #1 VecView_MPI_HDF5_DA() line 535 in<br>
    /home/scratch/petsc/src/dm/impls/da/gr2.c<br>
    #1 VecView_MPI_HDF5_DA() line 535 in<br>
    /home/scratch/petsc/src/dm/impls/da/gr2.c<br>
    [0]PETSC ERROR: #2 VecView_MPI_DA() line 713 in<br>
    /home/scratch/petsc/src/dm/impls/da/gr2.c<br>
    [1]PETSC ERROR: #2 VecView_MPI_DA() line 713 in<br>
    /home/scratch/petsc/src/dm/impls/da/gr2.c<br>
    [0]PETSC ERROR: #3 VecView() line 618 in<br>
    /home/scratch/petsc/src/vec/vec/interface/vector.c<br>
    [1]PETSC ERROR: #3 VecView() line 618 in<br>
    /home/scratch/petsc/src/vec/vec/interface/vector.c<br>
    [0]PETSC ERROR: [1]PETSC ERROR: #4 dump() line 75 in testcase.c<br>
    #4 dump() line 75 in testcase.c<br>
    [0]PETSC ERROR: #5 main() line 31 in testcase.c<br>
    [1]PETSC ERROR: #5 main() line 31 in testcase.c<br>
    [0]PETSC ERROR: [1]PETSC ERROR: PETSc Option Table entries:<br>
    [1]PETSC ERROR: PETSc Option Table entries:<br>
    [0]PETSC ERROR: -da_grid_x 65537<br>
    [0]PETSC ERROR: -da_grid_x 65537<br>
    [1]PETSC ERROR: ----------------End of Error Message -------send<br>
    entire error message to petsc-maint@mcs.anl.gov----------<br>
    ----------------End of Error Message -------send entire error<br>
    message to petsc-maint@mcs.anl.gov----------<br>
    [cli_0]: aborting job:<br>
    application called MPI_Abort(MPI_COMM_WORLD, 76) - process 0<br>
    [cli_1]: aborting job:<br>
    application called MPI_Abort(MPI_COMM_WORLD, 76) - process 1<br>
<br>
    ===================================================================================<br>
    =   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES<br>
    =   PID 15847 RUNNING AT <a href="http://longspeak.txcorp.com" rel="noreferrer" target="_blank">longspeak.txcorp.com</a><br>
    <<a href="http://longspeak.txcorp.com" rel="noreferrer" target="_blank">http://longspeak.txcorp.com</a>><br>
    =   EXIT CODE: 76<br>
    =   CLEANING UP REMAINING PROCESSES<br>
    =   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES<br>
    ===================================================================================<br>
<br>
    --<br>
    Dominic Meiser<br>
    Tech-X Corporation<br>
    5621 Arapahoe Avenue<br>
    Boulder, CO 80303<br>
    USA<br>
    Telephone: <a href="tel:303-996-2036" value="+13039962036" target="_blank">303-996-2036</a> <tel:<a href="tel:303-996-2036" value="+13039962036" target="_blank">303-996-2036</a>><br>
    Fax: <a href="tel:303-448-7756" value="+13034487756" target="_blank">303-448-7756</a> <tel:<a href="tel:303-448-7756" value="+13034487756" target="_blank">303-448-7756</a>><br>
    <a href="http://www.txcorp.com" rel="noreferrer" target="_blank">www.txcorp.com</a> <<a href="http://www.txcorp.com" rel="noreferrer" target="_blank">http://www.txcorp.com</a>><br>
<br>
<br>
<br><span class="HOEnZb"><font color="#888888">
<br>
--<br>
What most experimenters take for granted before they begin their<br>
experiments is infinitely more interesting than any results to which<br>
their experiments lead.<br>
-- Norbert Wiener<br>
</font></span></blockquote><span class="HOEnZb"><font color="#888888">
<br>
-- <br>
Dominic Meiser<br>
Tech-X Corporation<br>
5621 Arapahoe Avenue<br>
Boulder, CO 80303<br>
USA<br>
Telephone: <a href="tel:303-996-2036" value="+13039962036" target="_blank">303-996-2036</a><br>
Fax: <a href="tel:303-448-7756" value="+13034487756" target="_blank">303-448-7756</a><br>
<a href="http://www.txcorp.com" rel="noreferrer" target="_blank">www.txcorp.com</a><br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div>
</div></div>