<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Fri, Jul 1, 2016 at 4:13 PM, Jeff Hammond <span dir="ltr"><<a href="mailto:jeff.science@gmail.com" target="_blank">jeff.science@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">[...]<div><br></div><div>Maybe I am just biased because I spend all of my time reading <a href="http://www.nextplatform.com" target="_blank">www.nextplatform.com</a>, but I hear machine learning is becoming an important HPC workload.  While the most hyped efforts related to running inaccurate - the technical term is half-precision - dense matrix multiplication as fast as possible, I suspect that more elegant approaches will prevail.  Presumably there is something that PETSc can do to enable machine learning algorithms.  As most of the existing approaches use silly programming models based on MapReduce, it can't be too hard for PETSc to do better.</div></div></blockquote><div><br></div><div>"Machine learning" is definitely the hype du jour, but when that term gets thrown around, everyone is equating it with neural networks with a lot of layers ("deep learning").  That's why everyone is going on about half precision dense matrix multiplication, as low accuracy works fine for some of this stuff.  The thing is, there are a a ton of machine-learning approaches out there that are NOT neural networks, and I worry that everyone is too ready to jump into specialized hardware for neural nets when maybe there are better approaches out there.  Regarding machine learning approaches that use sparse matrix methods, I think that PETSc (plus SLEPc) provide pretty good building blocks right now for these, though there are probably things that could be better supported.  But what machine learning approaches PETSc should target right now, I don't know.  Program managers currently like terms like "neuromorphic computing" and half-precision computations seem to be the focus.  (Though why stop there?  Why not quarter precision?!!)<br><br></div><div>--Richard<br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br></div><div>Jeff<br><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">On Fri, Jul 1, 2016 at 2:32 PM, Barry Smith <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><br>
   The DOE SciDAC institutes have supported PETSc linear solver research/code development for the past fifteen years.<br>
<br>
    This email is to solicit ideas for linear solver research/code development work for the next round of SciDAC institutes (which will be a 4 year period) in PETSc. Please send me any ideas, no matter how crazy, on things you feel are missing, broken, or incomplete in PETSc with regard to linear solvers that we should propose to work on. In particular, issues coming from particular classes of applications would be good. Generic "multi physics" coupling types of things are too general (and old :-)) while  work for extreme large scale is also out since that is covered under another call (ECP). But particular types of optimizations etc for existing or new codes could be in, just not for the very large scale.<br>
<br>
    Rough ideas and pointers to publications are all useful. There is an extremely short fuse so the sooner the better,<br>
<br>
    Thanks<br>
<span><font color="#888888"><br>
      Barry<br>
<br>
<br>
<br>
</font></span></blockquote></div><br><br clear="all"><div><br></div></div></div><span class="HOEnZb"><font color="#888888">-- <br><div data-smartmail="gmail_signature">Jeff Hammond<br><a href="mailto:jeff.science@gmail.com" target="_blank">jeff.science@gmail.com</a><br><a href="http://jeffhammond.github.io/" target="_blank">http://jeffhammond.github.io/</a></div>
</font></span></div></div></div>
</blockquote></div><br></div></div>