<div dir="ltr"><div dir="ltr">On Wed, May 17, 2023 at 9:02 AM Fleischli Benno HSLU T&A <<a href="mailto:benno.fleischli@hslu.ch">benno.fleischli@hslu.ch</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg-4698682691215747903">




<div dir="ltr">
<div>Dear PETSc developers<br>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
I am creating a very large parallel sparse matrix (MATMPIAIJ) with PETSc. I write this matrix to disk.<br>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
The number of non-zeros exceeds the maximum number a 32-bit integer can hold.</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
When I read the matrix from disk i get an error because there was an overflow in the nz number.</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
(see petsc-3.18.4/src/mat/impls/aij/seq/aij.c:4977)</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
Obviously I could compile PETSc with 64bit integers (--with-64-bit-indices).</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
But I wanted to ask if there is another way. Because the total number of nonzeros nz is the only numer that exceeds the 32bit limit.</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
It would not be efficient to use 64bit integers everywhere just because of this single number.</div></div></div></blockquote><div><br></div><div>Integers tend to be a small part of the overall storage. How much does it increase the maximum overall storage for your problem?</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg-4698682691215747903"><div dir="ltr">
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<span style="font-size:10pt">This how I configured PETSc:</span>
<div style="font-size:10pt"><br>
</div>
<div style="font-size:10pt"><span><code><span>./configure
 --download-fblaslapack --download-hpddm --download-hypre --with-debugging=0 <br>
</span></code></span></div>
<div style="font-size:10pt"><span><code><span>COPTFLAGS='-O3
 -march=native -mtune=native' CXXOPTFLAGS='-O3 -march=native -mtune=native' <br>
</span></code></span></div>
<div style="font-size:10pt"><span><code><span>FOPTFLAGS='-O3
 -march=native -mtune=native' --with-scalar-type=real (--with-mpi-dir=/home/benno/Libraries/openMPI)</span></code></span><br>
</div>
<span style="font-size:10pt"></span><br>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
Kind Regards</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
Benno</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<br>
</div>
<div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<br>
</div>
<div id="m_-4698682691215747903Signature">
<div>
<div>
<div>
<div>
<div>
<div>
<p style="font-size:11pt;font-family:Calibri,sans-serif;margin:0px"><span style="font-size:10pt;font-family:Tahoma,sans-serif;color:rgb(31,73,125)" lang="de">________________________________</span><span style="font-size:10pt;font-family:Tahoma,sans-serif" lang="de">
</span></p>
<p style="font-size:11pt;font-family:Calibri,sans-serif;margin:0px"><b><span style="font-size:9pt;font-family:Verdana,sans-serif;color:rgb(31,73,125)" lang="de">Hochschule Luzern<br>
Technik & Architektur</span></b><span style="font-size:9pt;font-family:Verdana,sans-serif;color:rgb(31,73,125)" lang="de"><br>
</span><span style="font-size:9pt;font-family:Verdana,sans-serif;color:rgb(31,73,125)" lang="de">Institute for Mechanical Engineering and Energy Technology</span></p>
<p style="font-size:11pt;font-family:Calibri,sans-serif;margin:0px"><span style="font-size:9pt;font-family:Verdana,sans-serif;color:rgb(31,73,125)" lang="de">Competence Center Fluid Mechanics and Numerical Methods<b><br>
</b></span></p>
<p style="font-size:11pt;font-family:Calibri,sans-serif;margin:0px"><span style="font-size:9pt;font-family:Verdana,sans-serif;color:rgb(31,73,125)" lang="de"><b><br>
</b></span></p>
<p style="font-size:11pt;font-family:Calibri,sans-serif;margin:0px"><span style="font-size:9pt;font-family:Verdana,sans-serif;color:rgb(31,73,125)" lang="de"><b>Benno Fleischli</b><br>
MSc in Mechanical Engineering / BSc in Electrical Engineering</span><span style="font-size:10pt;font-family:Tahoma,sans-serif" lang="de"></span></p>
<p style="font-size:11pt;font-family:Calibri,sans-serif;margin:0px"><span style="font-size:9pt;font-family:Verdana,sans-serif;color:rgb(31,73,125)" lang="de">Wissenschaftlicher Mitarbeiter</span><span style="font-size:10pt;font-family:Tahoma,sans-serif" lang="de"></span><span style="font-size:9pt;font-family:Tahoma,sans-serif;color:rgb(31,73,125)" lang="de"><br>
</span></p>
<p style="font-size:11pt;font-family:Calibri,sans-serif;margin:0px"><span style="font-size:9pt;font-family:Verdana,sans-serif;color:rgb(31,73,125)"><a href="https://webmail.hslu.ch/owa/redir.aspx?C=rM5K5xPd_kKJmyojcJXaG18BaXM9wM8IqSslYJQen5H6HtdiNS2KtWNFL89yfRdRtW-Oa6xCXTk.&URL=mailto%3akatrina.kemp%40hslu.ch" rel="noopener noreferrer" target="_blank"><span lang="de">benno.fleischli@hslu.ch</span></a></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<div style="font-family:Verdana,Geneva,sans-serif;font-size:10pt;color:rgb(0,0,0)">
<br>
</div>
</div>

</div></blockquote></div><br clear="all"><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>