
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style type="text/css" style="display:none"><!--P{margin-top:0;margin-bottom:0;} --></style>

</head>

<body dir="ltr" style="font-size:12pt;color:#000000;background-color:#FFFFFF;font-family:Calibri,Arial,Helvetica,sans-serif;">

<p>Hi All,</p>

<p><br>

</p>

<p>I am currently experiencing issues when trying to run jobs on my hpc system.</p>

<p><br>

</p>

<p>I have installed moab (with hdf5 and zoltan) as recommended on the nek5000 webpages -<strong> <a id="lnk633809" href="https://nek5000.mcs.anl.gov/index.php/Building_and_Using_Nek_/_MOAB">https://nek5000.mcs.anl.gov/index.php/Building_and_Using_Nek_/_MOAB</a></strong>.</p>

<p><br>

</p>

<p>When I do this the simulation will run if I acquire resources form the system and then run the job using nekmpi [casename] [np]. However if I then attempt to submit this same simulation to the queue using:</p>

<p><br>

</p>

<p><em>#!/bin/bash</em><br>

<br>

<em>#PBS -l nodes=1:ppn=12,pvmem=1900mb,walltime=01:00:00</em><br>

<br>

<em>#PBS -V</em><br>

<br>

<br>

<em>cd $PBS_O_WORKDIR</em><br>

<br>

<em>nekmpi pipe 8 > log</em><br>

<br>

<em>exit 0</em><br>

</p>

<p><br>

</p>

<p>I submit the job and it fails citing:</p>

<p><br>

<em></em></p>

<p><em></em><em>mv: cannot stat `pipe.log.8': No such file or directory</em><br>

<em>mv: cannot stat `pipe.sch': No such file or directory</em><br>

<em>node6.8452Error re-mmapping shared memory: Cannot allocate memory (err=9)</em><br>

<em>node6.8452Error re-mmapping shared memory: Cannot allocate memory</em><br>

<em>[node6:08452] Open MPI detected an unexpected PSM error in opening an endpoint: Error re-mmapping shared memory: Cannot allocate memory</em><br>

<em>--------------------------------------------------------------------------</em><br>

<em>mpiexec has exited due to process rank 7 with PID 8452 on</em><br>

<em>node node6 exiting without calling "finalize". This may</em><br>

<em>have caused other processes in the application to be</em><br>

<em>terminated by signals sent by mpiexec (as reported here).</em><br>

<em>--------------------------------------------------------------------------</em><br>

</p>

<p><br>

</p>

<p>I thus decided there may be issues with moab so I installed according to the moab webpages -

<a id="lnk204540" href="http://trac.mcs.anl.gov/projects/ITAPS/wiki/BuildingAndUsingMOAB">

http://trac.mcs.anl.gov/projects/ITAPS/wiki/BuildingAndUsingMOAB.</a></p>

<p><br>

</p>

<p>When I submit the job now I see a different error:</p>

<p><br>

<em>mv: cannot stat `pipe.log.8': No such file or directory</em><br>

<em>mv: cannot stat `pipe.sch': No such file or directory</em><br>

<em>./nek5000: error while loading shared libraries: libsz.so.2: cannot open shared object file: No such file or directory</em></p>

<p><br>

</p>

<p>The above error I feel is somehow linked to either netcdf or hdf5 but I cannot see how or why as they both installed correctly (as far as I can tell).</p>

<p><br>

</p>

<p>Thank you for any help,</p>

<p><br>

</p>

<p>Friedrich<br>

<br>

</p>

</body>

</html>