<div dir="ltr">DMPlex has MPI_Type_create_struct().  But for matrices and vectors, we only use MPIU_SCALAR. <div><br></div><div>In petsc, we always pack non-contiguous data before calling MPI, since most indices are irregular. Using MPI_Type_indexed() etc probably does not provide any benefit.<div>The only place I can think of that can benefit from derived data types is in DMDA. The ghost points can be described with MPI_Type_vector(). We can save the packing/unpacking and associated buffers. </div>





<div><div><div><div><br></div><div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">--Junchao Zhang</div></div></div><br></div></div></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 23, 2020 at 12:30 PM Victor Eijkhout <<a href="mailto:eijkhout@tacc.utexas.edu">eijkhout@tacc.utexas.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">The Ohio mvapich people are working on getting better performance out of MPI datatypes. I notice that there are 5 million lines in the petsc source that reference MPI datatypes. So just as a wild guess:<br>
<br>
Optimizations on MPI Datatypes seem to be beneficial mostly if you’re sending blocks of at least a kilobyte each. Is that a plausible usage scenario? What is the typical use of MPI Datatypes in PETSc, and what type of datatype would most benefit from optimization?<br>
<br>
Victor.</blockquote></div>