<div dir="ltr"><div class="gmail_quote"><div dir="ltr">On Wed, Jan 9, 2019 at 7:15 PM Jed Brown <<a href="mailto:jed@jedbrown.org">jed@jedbrown.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">"Weston, Brian Thomas via petsc-users" <<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>> writes:<br>
<br>
> Matt,<br>
><br>
> Thanks for the quick reply. Users of our ALE3D hydro code at LLNL run very large problems , which I believe can pass in large amounts of local integer data to solver packages like HYPRE and PETSc for global solves. All of our local integer data is stored with 32-bit indices and switching to 64-bit indices would increase the memory footprint and data motion. This is a problem when running on our BGQ machines like Sequoia machine and potentially for our GPU machines.<br>
><br>
> Is this not a performance issue for most PETSc users who are running very large problems on 64-bit indices? And is there any interest in the future for allowing local ID’s to be in 32-bit and global ID’s be in 64-bit?<br>
<br>
The reason there is only one PetscInt is to reduce the number of<br>
combinations to be tested (since C has weak typedefs).  The performance<br>
impact observed in practice tends to be quite small.  PETSc might<br>
consider internally changing the storage for common matrix types to use<br>
a separate typedef so that PetscInt would be 64-bit but "PetscMatInt"<br>
could be 32-bit, but I don't think anyone wants that to escape into the<br>
public interface so it wouldn't have any impact on your code, just a<br>
(slight) optimization --with-64-bit-indices.  (Note that some users need<br>
64-bit on a single rank so it needs to be possible to use 64-bit<br>
PetscMatInt.)<br>
</blockquote></div><br clear="all"><div>As Jed says, all our tests show a negligible difference. However, if you had tests on BGQ that showed a big impact, we would love to see the numbers. That could justify work on this.</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>