<div dir="ltr">Satish,<div><br></div><div>For the fujitsu compiler OMP is <span style="color:rgb(68,68,68);font-family:monospace;font-size:13px">-Kopenmp.</span></div><br>Sarat (cc'ed) tells me that he built Kokkos with:<br><br>cmake -DCMAKE_BUILD_TYPE=Release \<br>    -DCMAKE_INSTALL_PREFIX=${KOKKOS_SRC_DIR}/install \<br>    -DBUILD_TESTING=OFF \<br>    -DKokkos_ENABLE_LIBDL=OFF \<br>    -DKokkos_ENABLE_OPENMP=ON \<br>    -DKokkos_ENABLE_SERIAL=ON \<br>    -DKokkos_ENABLE_AGGRESSIVE_VECTORIZATION=ON \<br>    ..<br><br>How might I make this happen in PETSc?<br><br>Thanks,<br>Mark<div><div><span style="color:rgb(68,68,68);font-family:monospace;font-size:13px"><br></span></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Apr 14, 2021 at 2:44 PM Satish Balay <<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Wed, 14 Apr 2021, Mark Adams wrote:<br>
<br>
> I have this building now.<br>
> Do you know anything about OpenMP?<br>
> I can add --with-openmp<br>
> That should get Kokkos to be made with OpenMP.<br>
> Should PETSc deal with the compilers correctly?<br>
<br>
Well it tries the following compiler options for openmp.<br>
<br>
    oflags = ["-fopenmp", # Gnu<br>
              "-qsmp=omp",# IBM XL C/C++<br>
              "-h omp",   # Cray. Must come after XL because XL interprets this option as meaning "-soname omp"<br>
              "-mp",      # Portland Group<br>
              "-Qopenmp", # Intel windows<br>
              "-openmp",  # Intel<br>
              "-xopenmp", # Sun<br>
              "+Oopenmp", # HP<br>
              "/openmp"   # Microsoft Visual Studio<br>
              ]<br>
<br>
I don't know what the flag for fugaku compiler is.<br>
<br>
Satish<br>
<br>
<br>
> Thanks,<br>
> Mark<br>
> <br>
> On Wed, Apr 14, 2021 at 1:45 PM Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br>
> <br>
> > Thanks,<br>
> > If you feel inspired you could try Kokkos :||<br>
> > I am in a parking lot waiting for my daughter but can try this when I get<br>
> > home,<br>
> > Thanks again,<br>
> > Mark<br>
> ><br>
> > On Wed, Apr 14, 2021 at 1:33 PM Satish Balay <<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>> wrote:<br>
> ><br>
> >> I think I allocated a single node - and did the build on it.<br>
> >><br>
> >> Now I'm getting an error - don't know what changed..<br>
> >><br>
> >> login6$ pjsub --interact -L "node=1" -L "rscunit=rscunit_ft01" -L<br>
> >> "rscgrp=eap-int" -L "elapse=1:00:00" --sparam "wait-time=600"<br>
> >> [ERR.] PJM 0059 pjsub rscgrp=eap-int is disabled.<br>
> >><br>
> >> Ok - the following worked..<br>
> >><br>
> >> login6$ pjsub --interact -L "node=1" -L "rscunit=rscunit_ft01" -L<br>
> >> "elapse=1:00:00" --sparam "wait-time=600"<br>
> >> [INFO] PJM 0000 pjsub Job 6301572 submitted.<br>
> >> [INFO] PJM 0081 .connected.<br>
> >> [INFO] PJM 0082 pjsub Interactive job 6301572 started.<br>
> >> [a04201@j31-3110s petsc]$<br>
> >><br>
> >> Ok - trying this build now.<br>
> >><br>
> >> [a04201@j31-3110s petsc]$ cat<br>
> >> ~/petsc.save/arch-arm/lib/petsc/conf/reconfigure-arch-arm.py<br>
> >> #!/usr/bin/python3<br>
> >> if __name__ == '__main__':<br>
> >>   import sys<br>
> >>   import os<br>
> >>   sys.path.insert(0, os.path.abspath('config'))<br>
> >>   import configure<br>
> >>   configure_options = [<br>
> >>     '--with-blaslapack-lib=-lfjlapack',<br>
> >>     '--with-debugging=0',<br>
> >>     'CC=mpifcc',<br>
> >>     'CXX=mpiFCC',<br>
> >>     'FC=mpifrt',<br>
> >>     'PETSC_ARCH=arch-arm',<br>
> >>   ]<br>
> >>   configure.petsc_configure(configure_options)<br>
> >> [a04201@j31-3110s petsc]$<br>
> >> ~/petsc.save/arch-arm/lib/petsc/conf/reconfigure-arch-arm.py<br>
> >> --download-p4est --download-zlib<br>
> >> <snip><br>
> >> p4est:<br>
> >>   Includes: -I/vol0004/ra010009/a04201/petsc/arch-arm/include<br>
> >>   Library:  -Wl,-rpath,/vol0004/ra010009/a04201/petsc/arch-arm/lib<br>
> >> -L/vol0004/ra010009/a04201/petsc/arch-arm/lib -lp4est -lsc<br>
> >><br>
> >> Ok - this worked for me.<br>
> >><br>
> >> Satish<br>
> >><br>
> >> On Wed, 14 Apr 2021, Mark Adams wrote:<br>
> >><br>
> >> > Do you recall what nodes you use to build on a "compute" node, to avoid<br>
> >> > cross compilation?<br>
> >> ><br>
> >> > On Wed, Apr 14, 2021 at 12:08 PM Satish Balay <<a href="mailto:balay@mcs.anl.gov" target="_blank">balay@mcs.anl.gov</a>><br>
> >> wrote:<br>
> >> ><br>
> >> > > looks like p4est cannot be cross-compiled.<br>
> >> > ><br>
> >> > > Satish<br>
> >> > ><br>
> >> > > On Wed, 14 Apr 2021, Mark Adams wrote:<br>
> >> > ><br>
> >> > > > I get this error with p4est on Fugaku.<br>
> >> > > > It is a Fortran error. Odd.<br>
> >> > > > Mark<br>
> >> > > ><br>
> >> > ><br>
> >> > ><br>
> >> ><br>
> >><br>
> >><br>
> <br>
<br>
</blockquote></div>