
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

</head>

<body style="font-family: 'Segoe UI',Frutiger,'Frutiger Linotype','Dejavu Sans','Helvetica Neue',Arial,sans-serif; font-size: 14px;">

<div class="hiri-body-wrapper">

<div>Hi all,<br>

<br>

We recently revamped our nightly testing at ANL.  The (just point to point for now) margo regression tests are in a new separate repository now:<br>

<br>

<a href="https://xgitlab.cels.anl.gov/sds/sds-tests" _src="https://xgitlab.cels.anl.gov/sds/sds-tests">https://xgitlab.cels.anl.gov/sds/sds-tests</a><br>

<br>

There are subdirectories under perf-regression for three different systems:<br>

<br>

bebop (linux/omnipath)<br>

cooley (linux/infiniband)<br>

theta (cray/aries)<br>

<br>

Each one has a build script and job script that shows how to compile and run everything on those systems using spack.<br>

<br>

One notable change from the past is that we've switched over entirely to libfabric for infiniband/verbs systems. At this point it performs well and is more stable than cci on modern systems.  We were already relying on libfabric for omnipath and aries support.<br>

<br>

Point to point performance on all three platforms is pretty good now, with the notable exception that round trip latency is poor on theta.  This particular problem is unique to KNL cores, though.  Performance is quite good on Haswell or other Xeon-based chips.<br>

<br>

All three have some quirks related to getting them to interact cleanly with MPI and/or how much CPU they use.  The script examples have our current best idea of how to make them work.<br>

<br>

I'm not sure what to recommend at present for TCP.  The viable options are BMI/TCP and libfabric/sockets but we aren't routinely testing either one at present.<br>

<br>

thanks,<br>

-Phil<br>

<br>

<br>

<br>

<br>

<br>

 </div>

</div>

</body>

</html>