<div dir="ltr"><div dir="ltr">On Wed, Sep 23, 2020 at 3:03 PM Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com">junchao.zhang@gmail.com</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">DMPlex has MPI_Type_create_struct().  But for matrices and vectors, we only use MPIU_SCALAR. </div></blockquote><div><br></div><div>We create small datatypes for pairs of things and such. The Plex usage is also for a very small type. Most of this is done to save multiple reductions, rather</div><div>than for throughput.</div><div><br></div><div>  Thanks,</div><div><br></div><div>    Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>In petsc, we always pack non-contiguous data before calling MPI, since most indices are irregular. Using MPI_Type_indexed() etc probably does not provide any benefit.<div>The only place I can think of that can benefit from derived data types is in DMDA. The ghost points can be described with MPI_Type_vector(). We can save the packing/unpacking and associated buffers. </div>





<div><div><div><div><br></div><div><div><div><div dir="ltr"><div dir="ltr">--Junchao Zhang</div></div></div><br></div></div></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 23, 2020 at 12:30 PM Victor Eijkhout <<a href="mailto:eijkhout@tacc.utexas.edu" target="_blank">eijkhout@tacc.utexas.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">The Ohio mvapich people are working on getting better performance out of MPI datatypes. I notice that there are 5 million lines in the petsc source that reference MPI datatypes. So just as a wild guess:<br>
<br>
Optimizations on MPI Datatypes seem to be beneficial mostly if you’re sending blocks of at least a kilobyte each. Is that a plausible usage scenario? What is the typical use of MPI Datatypes in PETSc, and what type of datatype would most benefit from optimization?<br>
<br>
Victor.</blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>