<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">Ghosh:</div><div class="gmail_quote">For parallel dense matrix-matrix operations, suggest using Elemental package <a href="http://libelemental.org">http://libelemental.org</a></div><div class="gmail_quote"><br></div><div class="gmail_quote">Hong<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<br>
  I am trying to calculate the transpose of a dense rectangular matrix (pSddft->YOrb, size=Npts x Nstates) and then MatMatMult<br>
  I am creating the dense matrix first of size (Nstates x Npts) and then doing an inplace transpose.<br>
  Both the dense rectangular matrices have the same parallel communicator PetscObjectComm((PetscObject)pSddft->da).<br>
<br>
  The following steps are the steps<br>
<br>
<br>
       PetscInt rowloc,colloc;<br>
       MatGetLocalSize(pSddft->YOrb,&rowloc,&colloc);<br>
<br>
       MatCreate(PetscObjectComm((PetscObject)pSddft->da),&pSddft->YOrbTranspose);<br>
<br>
       MatSetSizes(pSddft->YOrbTranspose,colloc,rowloc,PETSC_DETERMINE,PETSC_DETERMINE);<br>
       MatSetType(pSddft->YOrbTranspose,MATDENSE);<br>
       MatSetFromOptions(pSddft->YOrbTranspose);<br>
       MatSetUp(pSddft->YOrbTranspose);<br>
<br>
       MatTranspose(pSddft->YOrb,MAT_INITIAL_MATRIX,&pSddft->YOrbTranspose);<br>
<br>
       MatMatMultNumeric(pSddft->YOrbTranspose,HpsiMat,HsubDense);<br>
<br>
The matrix HpsiMat has the same parallel communicator as pSddft->YOrb<br>
The code works fine on 1 core but I am getting segmentation fault in the MatMatMultNumeric step for more than 1 cores.<br>
So I think the problem is due to the way I am setting up the communicator of transpose matrix.<br>
<br>
Could you please tell me if there is a general way of creating a transpose of a rectangular dense parallel matrix and use it for matrix matrix multiplication?<br>
<span class=""><font color="#888888"><br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
--<br>
Swarnava Ghosh<br>
PhD Candidate,<br>
Structural Engineering, Mechanics and Materials<br>
School of Civil and Environmental Engineering<br>
Georgia Institute of Technology<br>
Atlanta, GA 30332<br>
</font></span></blockquote></div><br></div></div>