<div dir="ltr">Hi Alex, I think we are going to start with hypre, using OMP. This is also new and so it will take some working out, probably.<div><br></div><div>So take your time and when you get it into master, tell us and we can take it from there.</div><div><br></div><div>Thanks,</div><div>Mark</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 14, 2017 at 4:45 PM, Kalinkin, Alexander A <span dir="ltr"><<a href="mailto:alexander.a.kalinkin@intel.com" target="_blank">alexander.a.kalinkin@intel.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="blue" vlink="purple">
<div class="m_-7542315837885492556WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">HI Mark,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Looks like we can implement this functionality (if everything goes correctly) in MKL 2018u2 which will be published during following January<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">On our side we will test Both MKL triple implementation and wrappers from PETSc to MKL much early so if any petsc user will show interest to try this functionality
 we can commit PETSc wrapper early and provide engineering build with correspond function.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Thanks,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Alex
<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">   <u></u><u></u></span></p>
<p class="MsoNormal"><a name="m_-7542315837885492556__MailEndCompose"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></a></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Mark Adams [mailto:<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>]
<br>
<b>Sent:</b> Thursday, September 14, 2017 1:18 PM<br>
<b>To:</b> Kalinkin, Alexander A <<a href="mailto:alexander.a.kalinkin@intel.com" target="_blank">alexander.a.kalinkin@intel.<wbr>com</a>><br>
<b>Cc:</b> Richard Tran Mills <<a href="mailto:rtmills@anl.gov" target="_blank">rtmills@anl.gov</a>>; For users of the development version of PETSc <<a href="mailto:petsc-dev@mcs.anl.gov" target="_blank">petsc-dev@mcs.anl.gov</a>>; Sokolova, Irina <<a href="mailto:irina.sokolova@intel.com" target="_blank">irina.sokolova@intel.com</a>><span class=""><br>
<b>Subject:</b> Re: [petsc-dev] hypre + OMP and MKL-AIJ<u></u><u></u></span></span></p><span class="">
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">On Thu, Sep 14, 2017 at 3:25 PM, Kalinkin, Alexander A <<a href="mailto:alexander.a.kalinkin@intel.com" target="_blank">alexander.a.kalinkin@intel.<wbr>com</a>> wrote:<u></u><u></u></p>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Hi All,</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Of course we can if you need it but I see the problem with testing – we need to implement functionality
 and test it simultaneously with MatMatMult() wrappers in petsc branch. Any thoughts how it can be realized?</span><u></u><u></u></p>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I've warned my users that this new.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">If you can get snes/examples/tutorials/ex56 to work then you are probably ready for users. My users will scale up and can work with you to debug.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Thanks,</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Alex</span><u></u><u></u></p>
<p class="MsoNormal"><a name="m_-7542315837885492556_m_-4480610806000489968__MailEndCompose"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"> </span></a><u></u><u></u></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Richard Tran Mills [mailto:<a href="mailto:rtmills@anl.gov" target="_blank">rtmills@anl.gov</a>]
<br>
<b>Sent:</b> Thursday, September 14, 2017 11:45 AM<br>
<b>To:</b> Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>><br>
<b>Cc:</b> For users of the development version of PETSc <<a href="mailto:petsc-dev@mcs.anl.gov" target="_blank">petsc-dev@mcs.anl.gov</a>>; Kalinkin, Alexander A <<a href="mailto:alexander.a.kalinkin@intel.com" target="_blank">alexander.a.kalinkin@intel.<wbr>com</a>>;
 Sokolova, Irina <<a href="mailto:irina.sokolova@intel.com" target="_blank">irina.sokolova@intel.com</a>><br>
<b>Subject:</b> Re: [petsc-dev] hypre + OMP and MKL-AIJ</span><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt">Hi Mark,<u></u><u></u></p>
</div>
<p class="MsoNormal" style="margin-bottom:12.0pt">Regarding MatMatMult() support, I think it should be fairly trivial for me to add that to AIJMKL. However, MKL doesn't currently have a matrix triple product routine (though the possibility
 of adding this has come up before in discussions with Alex Kalinkin from the MKL sparse team), so for now we'd need to implement that using MatMatMult().<u></u><u></u></p>
</div>
<p class="MsoNormal" style="margin-bottom:12.0pt">Perhaps Alex or Irina (cc'd) can say something about possible support for sparse matrix triple products in MKL?<u></u><u></u></p>
</div>
<p class="MsoNormal">--Richard<u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<p class="MsoNormal">On Thu, Sep 14, 2017 at 11:32 AM, Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<u></u><u></u></p>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt">
<div>
<div>
<p class="MsoNormal">I recall Barry saying that he updated the hypre interface after the last hypre release, which includes OpenMP. But, I am not finding the email. Can someone tell me the status of
 this? <u></u><u></u></p>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Note, I have two users that are interested in using threads with AMG. I think we would be interested in testing the new MKL-AIJ matrix but as I understand it we are waiting on the
 Mat-Mat Mult method(s) to get migrated. I should have at least one user that would be interested in testing this when it is ready.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Mark<u></u><u></u></p>
</div>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</span></div>
</div>

</blockquote></div><br></div>