<div dir="ltr">That would be great and early Feb would be perfect. Not having LU in Kokkos is not perfect  but having a GPU ILU would be much much better than the current CPU LU.<div><br></div><div>I am now suspecting that I am not running the job correctly for OMP at NERSc. I am going to read the docs more carefully.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jan 19, 2021 at 10:27 AM Junchao Zhang <<a href="mailto:junchao.zhang@gmail.com">junchao.zhang@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Mark,<div>  I hope I can take up the Kokkos work in early February once we have the ecp-tpds paper done.  <br clear="all"><div><div dir="ltr"><div dir="ltr">--Junchao Zhang</div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 18, 2021 at 8:16 AM Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">OK, this running and using OMP Fieldsplit/additive.<div><br></div><div>Kokkos does not have any solvers hooked up yet, but I have added an LU interface that just uses AIJ's LU.</div><div><br></div><div>Junchao, I asked Kokkos about adding LU and they said that it is on the todo list. Until they do that I can't use it for the paper, but if you want to work on integrating solvers into aijkokkos I can do that and test with GMRES/Jacobi.</div><div><br></div><div>Thanks,</div><div>Mark</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 18, 2021 at 1:00 AM Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div><br></div><div>  Mark,</div><div><br></div>  Looks like you tried to do two things at once, you removed the fopenmp and put back the --with-cuda.<div><br></div><div><br><div><br></div><div>  Like I said if you want PETSc to build OpenMP and CUDA you need to remove this line (and some others) from kokkos.py</div><div><br></div><div><br><div><br></div><div>     if self.openmp.found + pthreadfound + self.cuda.found > 1:<div>      raise RuntimeError("Kokkos only supports a single parallel system during its configuration")</div><div><br></div><div><br></div><div><br><blockquote type="cite"><div>On Jan 17, 2021, at 9:39 PM, Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:</div><br><div><div dir="ltr"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br><br>
Here is the problem. You set  --CXXOPTFLAGS="-g -O0 -fPIC  -fopenmp" to indicate how to compile for OpenMP but when ./configure checks the installed KokkosKernel include files it uses CXXPPFLAGS. (Since you provided the flag CXXOPTFLAGS  ./configure never determines the flag to put into CXXPPFLAGS.<br>
<br>
It is more desirable if you do not provide -fPIC  -fopenmp.  ./configure will figure them out for you.<br></blockquote><div><br></div><div>:(  </div></div></div>
<span id="gmail-m_-1586864400239340212gmail-m_1189406576818683648gmail-m_-8201531112464213325gmail-m_-449736376080144538cid:f_kk20rgra0"><configure.log></span></div></blockquote></div><br></div></div></div></div></blockquote></div>
</blockquote></div>
</blockquote></div>