<div dir="ltr">Hi, <div><br></div><div>I construct a big matrix which is 1.3million by 1.3million which is using approximatly 100GB memory. I have a computer with 500GB memory.</div><div><br></div><div>I run the Petsc program and it get stuck when finally assembling the matrix. The program is using around 200GB memory only. However, the program just get stuck there. Here is the output message when it gets stuck.</div><div><font color="#0000ff">.</font></div><div><font color="#0000ff">.</font></div><div><font color="#0000ff"><b>previous outputs not shown here</b></font></div><div><font color="#0000ff">.</font></div><div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): No of messages: 15 </font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 0: size: 271636416 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 1: size: 328581552 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 2: size: 163649328 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 3: size: 95512224 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 4: size: 317711616 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 5: size: 170971776 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 6: size: 254000064 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 7: size: 163146720 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 8: size: 345150048 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 9: size: 163411584 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 10: size: 428874816 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 11: size: 739711296 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 13: size: 435247344 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 14: size: 435136752 bytes</font></div><div><font color="#0000ff">[12] MatStashScatterBegin_Ref(): Mesg_to: 15: size: 346167552 bytes</font></div><div><font color="#0000ff">[14] MatAssemblyBegin_MPIAIJ(): Stash has 263158893 entries, uses 14 mallocs.</font></div><div><font color="#0000ff">[8] MatAssemblyBegin_MPIAIJ(): Stash has 286768572 entries, uses 14 mallocs.</font></div><div><font color="#0000ff">[12] MatAssemblyBegin_MPIAIJ(): Stash has 291181818 entries, uses 14 mallocs.</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): No of messages: 15 </font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 0: size: 271636416 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 1: size: 271636416 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 2: size: 220594464 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 3: size: 51041952 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 4: size: 276201408 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 5: size: 256952256 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 6: size: 198489024 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 7: size: 218657760 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 8: size: 219686880 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 9: size: 288874752 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 10: size: 428874816 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 11: size: 172579968 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 12: size: 639835680 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 14: size: 270060144 bytes</font></div><div><font color="#0000ff">[13] MatStashScatterBegin_Ref(): Mesg_to: 15: size: 511244160 bytes</font></div><div><font color="#0000ff">[13] MatAssemblyBegin_MPIAIJ(): Stash has 268522881 entries, uses 14 mallocs.</font></div><div><font color="#0000ff">[5] MatAssemblyEnd_SeqAIJ(): Matrix size: 96812 X 96812; storage space: 89786788 unneeded,7025212 used</font></div><div><font color="#0000ff">[5] MatAssemblyEnd_SeqAIJ(): Number of mallocs during MatSetValues() is 0</font></div><div><font color="#0000ff">[5] MatAssemblyEnd_SeqAIJ(): Maximum nonzeros in any row is 81</font></div><div><font color="#0000ff">[5] MatCheckCompressedRow(): Found the ratio (num_zerorows 0)/(num_localrows 96812) < 0.6. Do not use CompressedRow routines.</font></div><div><font color="#0000ff">[5] MatSeqAIJCheckInode(): Found 32271 nodes of 96812. Limit used: 5. Using Inode routines</font></div><div><font color="#0000ff">[4] MatAssemblyEnd_SeqAIJ(): Matrix size: 96812 X 96812; storage space: 89841924 unneeded,6970076 used</font></div><div><font color="#0000ff">[4] MatAssemblyEnd_SeqAIJ(): Number of mallocs during MatSetValues() is 0</font></div><div><font color="#0000ff">[4] MatAssemblyEnd_SeqAIJ(): Maximum nonzeros in any row is 81</font></div><div><font color="#0000ff">[4] MatCheckCompressedRow(): Found the ratio (num_zerorows 0)/(num_localrows 96812) < 0.6. Do not use CompressedRow routines.</font></div><div><font color="#0000ff">[4] MatSeqAIJCheckInode(): Found 32272 nodes of 96812. Limit used: 5. Using Inode routines</font></div></div><div><font color="#0000ff"><br></font></div><div><font color="#ff0000"><b>stuck here!!!!</b></font></div><div><font color="#ff0000"><b><br></b></font></div><div><font color="#ff0000"><b><br></b></font></div><div><font color="#000000">Any one have ideas on this? Thank you very much!</font></div><div><br></div><div><br></div><div><br></div><div>Fangbo Wang</div><div><br></div><div><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><font size="1" color="#9900ff">Fangbo Wang, PhD student</font></div><div><font size="1" color="#9900ff">Stochastic Geomechanics Research Group</font></div><div><span style="color:rgb(153,0,255);font-size:x-small">Department of Civil, Structural and Environmental Engineering</span></div><div><font size="1" color="#9900ff">University at Buffalo</font></div><div><font size="1" color="#9900ff">Email: <u><a href="mailto:fangbowa@buffalo.edu" target="_blank">fangbowa@buffalo.edu</a></u></font></div></div></div></div></div>
</div></div>