<div dir="ltr"><div dir="ltr">Hi, <br><br>I've solving a <span class="gmail-m_-8429866757565782065gmail-pl-c">simple linear equation [ u_t = A*u_xx + A*u_yy + F_t*u ] on a grid size of 55296x55296. I'm reading a vector of that size from an hdf5 file and have the jacobian matrix as a modified 5-point stencil which is preallocated with the following <br>```<br>  ierr = MatCreate(PETSC_COMM_WORLD,&A);CHKERRQ(ierr);<br>  ierr = MatSetSizes(A,PETSC_DECIDE,PETSC_DECIDE,M,M);CHKERRQ(ierr);<br>  ierr = MatSetType(A,MATMPIAIJ);CHKERRQ(ierr);<br>  ierr = MatSetFromOptions(A);CHKERRQ(ierr);<br>  ierr = MatMPIAIJSetPreallocation(A,5,NULL,5,NULL);CHKERRQ(ierr);<br>  ierr = MatSeqAIJSetPreallocation(A,5,NULL);CHKERRQ(ierr);<br>```<br></span></div><div><span class="gmail-m_-8429866757565782065gmail-pl-c">Total number of elements is ~3e9 and the matrix size is ~9e9 (but only 5 diagonals are non zeros). I'm reading F_t which has ~3e9 elements. I'm using double complex numbers and I've compiled with int64 indices. <br><br></span></div><div><span class="gmail-m_-8429866757565782065gmail-pl-c">Thus, for the vector I need, 55296x55296x2x8 bytes ~ 50Gb and for the F vector, another 50 Gb. For the matrix I need ~250 Gb and some overhead for the solver.<br><br>How do I estimate this overhead (and estimate how many nodes I would need to run this given the maximum memory per node (as specified by slurm's --mem option)) ?<br><br></span></div><div><span class="gmail-m_-8429866757565782065gmail-pl-c"> Thanks in advance for the help! <br> </span></div><div dir="ltr"><div><br></div><div>-- <br></div><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div style="font-size:12.8px">Sajid Ali<br></div><div style="font-size:12.8px">Applied Physics<br></div><div style="font-size:12.8px">Northwestern University</div></div></div></div></div></div>