<div dir="ltr"><div>We met SF + Windows errors before.  Stefano wrote the code, which I don't think was worth doing. SF with MPI one-sided is hard to be correct (due to shared memory programming), bad in performance, and no users use that.</div><div>I would suggest we just disable the test and feature?   Stefano, what do you think?</div><div><br></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">--Junchao Zhang</div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Sep 12, 2021 at 2:10 PM Pierre Jolivet <<a href="mailto:pierre@joliv.et">pierre@joliv.et</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><br><div><blockquote type="cite"><div>On 12 Sep 2021, at 8:56 PM, Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>> wrote:</div><br><div><div dir="ltr"><div dir="ltr">On Sun, Sep 12, 2021 at 2:49 PM Antonio T. sagitter <<a href="mailto:sagitter@fedoraproject.org" target="_blank">sagitter@fedoraproject.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Those attached are configure.log/make.log from a MPI build in Fedora 34 <br>
x86_64 where the error below occurred.<br></blockquote><div><br></div><div>This is OpenMPI 4.1.0. Is that the only MPI you build? My first inclination is that this is an MPI implementation bug.</div><div><br></div><div>Junchao, do we have an OpenMPI build in the CI?</div></div></div></div></blockquote><div><br></div><div>config/examples/arch-ci-linux-cuda-double-64idx.py:    '--download-openmpi=1',</div><div><div>config/examples/arch-ci-linux-pkgs-dbg-ftn-interfaces.py:  '--download-openmpi=1',</div><div>config/examples/arch-ci-linux-pkgs-opt.py:  '--download-openmpi=1',</div></div><div><br></div><div>config/BuildSystem/config/packages/OpenMPI.py uses version 4.1.0 as well.</div><div>I’m not sure PETSc is to blame here Antonio. You may want to try to ditch the OpenMPI shipped by your packet manager and try --download-openmpi as well, just for a quick sanity check.</div><div><br></div><div>Thanks,</div><div>Pierre</div><br><blockquote type="cite"><div><div dir="ltr"><div class="gmail_quote"><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
On 9/12/21 19:18, Antonio T. sagitter wrote:<br>
> Okay. I will try to set correctly the DATAFILESPATH options.<br>
> <br>
> I see even this error:<br>
> <br>
> not ok <br>
> vec_is_sf_tutorials-ex1_4+sf_window_sync-fence_sf_window_flavor-create # <br>
> Error code: 68<br>
> <br>
> #    PetscSF Object: 4 MPI processes<br>
> <br>
> #      type: window<br>
> <br>
> #      [0] Number of roots=3, leaves=2, remote ranks=2<br>
> <br>
> #      [0] 0 <- (3,1)<br>
> <br>
> #      [0] 1 <- (1,0)<br>
> <br>
> #      [1] Number of roots=2, leaves=3, remote ranks=2<br>
> <br>
> #      [1] 0 <- (0,1)<br>
> <br>
> #      [1] 1 <- (2,0)<br>
> <br>
> #      [1] 2 <- (0,2)<br>
> <br>
> #      [2] Number of roots=2, leaves=3, remote ranks=3<br>
> <br>
> #      [2] 0 <- (1,1)<br>
> <br>
> #      [2] 1 <- (3,0)<br>
> <br>
> #      [2] 2 <- (0,2)<br>
> <br>
> #      [3] Number of roots=2, leaves=3, remote ranks=2<br>
> <br>
> #      [3] 0 <- (2,1)<br>
> <br>
> #      [3] 1 <- (0,0)<br>
> <br>
> #      [3] 2 <- (0,2)<br>
> <br>
> #      [0] Roots referenced by my leaves, by rank<br>
> <br>
> #      [0] 1: 1 edges<br>
> <br>
> #      [0]    1 <- 0<br>
> <br>
> #      [0] 3: 1 edges<br>
> <br>
> #      [0]    0 <- 1<br>
> <br>
> #      [1] Roots referenced by my leaves, by rank<br>
> <br>
> #      [1] 0: 2 edges<br>
> <br>
> #      [1]    0 <- 1<br>
> <br>
> #      [1]    2 <- 2<br>
> <br>
> #      [1] 2: 1 edges<br>
> <br>
> #      [1]    1 <- 0<br>
> <br>
> #      [2] Roots referenced by my leaves, by rank<br>
> <br>
> #      [2] 0: 1 edges<br>
> <br>
> #      [2]    2 <- 2<br>
> <br>
> #      [2] 1: 1 edges<br>
> <br>
> #      [2]    0 <- 1<br>
> <br>
> #      [2] 3: 1 edges<br>
> <br>
> #      [2]    1 <- 0<br>
> <br>
> #      [3] Roots referenced by my leaves, by rank<br>
> <br>
> #      [3] 0: 2 edges<br>
> <br>
> #      [3]    1 <- 0<br>
> <br>
> #      [3]    2 <- 2<br>
> <br>
> #      [3] 2: 1 edges<br>
> <br>
> #      [3]    0 <- 1<br>
> <br>
> #      current flavor=CREATE synchronization=FENCE MultiSF sort=rank-order<br>
> <br>
> #        current info=MPI_INFO_NULL<br>
> <br>
> #    [buildhw-x86-09:1135574] *** An error occurred in MPI_Accumulate<br>
> <br>
> #    [buildhw-x86-09:1135574] *** reported by process [3562602497,3]<br>
> <br>
> #    [buildhw-x86-09:1135574] *** on win rdma window 4<br>
> <br>
> #    [buildhw-x86-09:1135574] *** MPI_ERR_RMA_RANGE: invalid RMA address <br>
> range<br>
> <br>
> #    [buildhw-x86-09:1135574] *** MPI_ERRORS_ARE_FATAL (processes in <br>
> this win will now abort,<br>
> <br>
> #    [buildhw-x86-09:1135574] ***    and potentially your MPI job)<br>
> <br>
> #    [<a href="http://buildhw-x86-09.iad2.fedoraproject.org:1135567" rel="noreferrer" target="_blank">buildhw-x86-09.iad2.fedoraproject.org:1135567</a>] 3 more processes <br>
> have sent help message help-mpi-errors.txt / mpi_errors_are_fatal<br>
> <br>
> #    [<a href="http://buildhw-x86-09.iad2.fedoraproject.org:1135567" rel="noreferrer" target="_blank">buildhw-x86-09.iad2.fedoraproject.org:1135567</a>] Set MCA parameter <br>
> "orte_base_help_aggregate" to 0 to see all help / error messages<br>
> <br>
> Looks like an error related to OpenMPI-4*:<br>
> <a href="https://github.com/open-mpi/ompi/issues/6374" rel="noreferrer" target="_blank">https://github.com/open-mpi/ompi/issues/6374</a><br>
>  <br>
<br>
-- <br>
---<br>
Antonio Trande<br>
Fedora Project<br>
mailto: <a href="mailto:sagitter@fedoraproject.org" target="_blank">sagitter@fedoraproject.org</a><br>
GPG key: 0x29FBC85D7A51CC2F<br>
GPG key server: <a href="https://keyserver1.pgp.com/" rel="noreferrer" target="_blank">https://keyserver1.pgp.com/</a></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>
</div></blockquote></div><br></div></blockquote></div>