<div dir="ltr">Dear Nek users, I'm having a problem when I use the latest version of Nek on a HPC cluster. I can compile, but when I run my simulations they finish. The logfile of a generic case is like the following:<div><br></div><div><br></div><div>===========================================================</div><div><br></div><div><br></div><div><div>/----------------------------------------------------------\\</div><div>|      _   __ ______ __ __  ______  ____   ____   ____     |</div><div>|     / | / // ____// //_/ / ____/ / __ \\/ __ \\/ __ \\   |</div><div>|    /  |/ // __/  / ,<   /___ \\ / / / // / / // / / /    |</div><div>|   / /|  // /___ / /| | ____/ / / /_/ // /_/ // /_/ /     |</div><div>|  /_/ |_//_____//_/ |_|/_____/  \\___/ \\___/ \\___/      |</div><div>|                                                          |</div><div>|----------------------------------------------------------|</div><div>|                                                          |</div><div>| NEK5000:  Open Source Spectral Element Solver            |</div><div>| COPYRIGHT (c) 2008-2017 UCHICAGO ARGONNE, LLC            |</div><div>| Version:  17.0-rc1                                       |</div><div>| Web:      <a href="http://nek5000.mcs.anl.gov">http://nek5000.mcs.anl.gov</a>                     |</div><div>|                                                          |</div><div>\\----------------------------------------------------------/</div><div>                                                              </div><div><br></div><div> Number of processors:          80</div><div> REAL    wdsize      :           8</div><div> INTEGER wdsize      :           4</div><div> Timer accuracy      : 0.00E+00</div><div>  </div><div> Reading /home/jrobinson/casos/Placa_6/Placa_6.rea                                                                                           </div><div> Reading /home/jrobinson/casos/Placa_6/Placa_6.re2                                                                                           </div><div> mapping elements to processors</div><div> Reading /home/jrobinson/casos/Placa_6/Placa_6.ma2                                                                                           </div><div> RANK     0 IEG    1754    1755    1756    1757    1758    1759    1760    1774</div><div>                   1775    1776    1777    1778    1779    1780    1794    1795</div><div>                   1796    1797    1798    1799    1800    1814    1815    1816</div><div>                   1817    1818    1819    1820    1834    1835    1836    1837</div><div>                   1838    1839    1840    1853    1854    1855    1856    1857</div><div>                   1858    1859    1860    1873    1874    1875    1876    1877</div><div>                   1878    1879    1880    1893    1894    1895    1896    1897</div><div>                   1898    1899    1913    1914    1915    1916    1917    1918</div><div>                   1919    1933    1934    1935    1936    1937    1938    1939</div><div>                   1953    1954    1955    1956    1957    1958    1974    1975</div><div>                   1976    1977    1978    1994    1995    1996    1997    1998</div><div>                   1999    2000    2014    2015    2016    2017    2018    2019</div><div>                   2020    9783    9784    9785    9786    9787    9788    9789</div><div>                   9790    9791    9792    9793    9794    9795    9796    9797</div><div>                   9798    9799    9800    9801    9802    9803    9804    9805</div><div>                   9806    9807    9808    9809    9810    9811    9812    9813</div><div>                   9814    9815    9816    9817    9818    9819    9820    9821</div><div>                   9822    9823    9824    9825    9826    9827    9828    9829</div><div>                   9830    9849    9855    9856    9861    9862</div><div>  </div><div> element load imbalance:            1         150         151</div><div> done :: mapping   0.32155     sec</div><div><br></div><div>  </div><div>  preading mesh </div></div><div><br></div><div>=============================================================</div><div><br></div><div><br></div><div><br></div><div><br></div><div>So the last line is "preading mesh".</div><div><br></div><div>This doesn't give too much information, but the cluster generates a file with the following errors (at the end of this text).</div><div><br></div><div>When I use an old version of Nek on this same cluster, I have no problem running my cases. The problem is that I need to use the latest version because I'm using exo2nek routine for my meshes generated with Trelis (Cubit).</div><div><br></div><div><br></div><div>Any idea of what could I do?</div><div><br></div><div>Thank you all.</div><div><br></div><div>Juan Pablo.</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div>=========================================================</div><div><br></div><div><br></div><div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 4A,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 84, length 10800</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 11,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 32484, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 3</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 3)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 11,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd F,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 86484, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 8</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 8)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 14,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 248484, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 23</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 23)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd F,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 108084, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 10</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 10)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 10,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 259284, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 24</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 24)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 12,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 118884, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 11</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 11)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 14,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 12,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 140484, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 13</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 13)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 10,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 280884, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 26</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 26)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd F,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 151284, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 14</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 14)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 14,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 291684, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 27</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 27)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 12,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 162084, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 15</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 15)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 10,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 302484, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 28</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 28)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd F,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 172884, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 16</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 16)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 10,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 324084, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 30</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 30)</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 0</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 0)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 334884, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 31</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 31)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd F,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 21684, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 2</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 2)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 345684, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 32</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 32)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd F,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 43284, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 4</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 4)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 356484, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 33</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 33)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 11,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 54084, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 5</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 5)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 12,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 367284, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 34</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 34)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd F,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 64884, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 6</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 6)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 378084, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 35</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 35)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 12,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 75684, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 7</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 7)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 388884, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 36</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 36)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 12,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 97284, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 9</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 9)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 12,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 421284, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 39</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 39)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd F,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 129684, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 12</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 12)</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 216084, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 20</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 20)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 183684, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 17</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 17)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 226884, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 21</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 21)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd F,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 194484, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 18</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 18)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 10,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 237684, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 22</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 22)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 205284, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 19</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 19)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 313284, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 29</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 29)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 11,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 10884, length 10800</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 399684, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 37</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 37)</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 1</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 1)</div><div>This requires fcntl(2) to be implemented. As of 8/25/2011 it is not. Generic MPICH Message: File locking failed in ADIOI_Set_lock(fd 13,cmd F_SETLKW/7,type F_RDLCK/0,whence 0) with return value FFFFFFFF and errno 26.</div><div>- If the file system is NFS, you need to use NFS version 3, ensure that the lockd daemon is running on all the machines, and mount the directory with the 'noac' option (no attribute caching).</div><div>- If the file system is LUSTRE, ensure that the directory is mounted with the 'flock' option.</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 410484, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 38</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 38)</div><div>slurmstepd: error: *** STEP 11073373.0 ON leftraru1 CANCELLED AT 2018-04-16T18:38:42 ***</div><div>ADIOI_Set_lock:: Function not implemented</div><div>ADIOI_Set_lock:offset 270084, length 10800</div><div>application called MPI_Abort(MPI_COMM_WORLD, 1) - process 25</div><div>In: PMI_Abort(1, application called MPI_Abort(MPI_COMM_WORLD, 1) - process 25)</div><div>srun: Job step aborted: Waiting up to 32 seconds for job step to finish.</div><div>srun: error: leftraru1: tasks 0-19: Killed</div><div>srun: Terminating job step 11073373.0</div><div>srun: error: leftraru4: tasks 60-79: Killed</div><div>srun: error: leftraru3: tasks 40-59: Killed</div><div>srun: error: leftraru2: tasks 20-39: Killed</div></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div>