<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
Thanks, it did work.
<div class=""><br class="">
</div>
<div class="">Marco<br class="">
<div>
<blockquote type="cite" class="">
<div class="">On Sep 23, 2017, at 1:21 AM, <a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">
nek5000-users@lists.mcs.anl.gov</a> wrote:</div>
<br class="Apple-interchange-newline">
<div class="">
<div dir="auto" class="">
<div class=""></div>
<div class="">You can use tools/amg_hypre instead of amg_matlab2. </div>
<div class=""><br class="">
On 23 Sep 2017, at 02:15, "<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a>" <<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a>> wrote:<br class="">
<br class="">
</div>
<blockquote type="cite" class="">
<div class="">Hi,
<div class=""><br class="">
</div>
<div class="">the job run until it threw the following error message:</div>
<div class=""><br class="">
</div>
<div class="">EXIT: Problem size requires AMG solver          1</div>
<div class=""><br class="">
</div>
<div class="">I attached the log file.</div>
<div class=""><br class="">
</div>
<div class="">My mesh has 478946 elements. Do I have to use the AMG solver, or is there a workaround? If I remember correctly the AMG solver requires Matlab which I do not have access to.</div>
<div class=""><br class="">
</div>
<div class="">Thanks,</div>
<div class="">Marco</div>
<div class=""><br class="">
</div>
<div class=""></div>
<pre class="">_______________________________________________<br class="">
Nek5000-users mailing list<br class="">
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a><br class="">
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br class="">
</pre>
</div>
</blockquote>
<blockquote type="cite" class="">
<div class=""><Actesys.1.000></div>
</blockquote>
<blockquote type="cite" class="">
<div class="">
<div class=""></div>
<div class=""><br class="">
<div class="">
<blockquote type="cite" class="">
<div class="">On Sep 22, 2017, at 8:26 AM, <a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">
nek5000-users@lists.mcs.anl.gov</a> wrote:</div>
<br class="Apple-interchange-newline">
<div class="">
<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
I generated the ma2 file and submitted the job. I will let you know how it goes.
<div class=""><br class="">
</div>
<div class="">How different is the ma2 file from a map file?<br class="">
<div class=""><br class="">
</div>
<div class="">Thanks,</div>
<div class="">Marco</div>
<div class=""><br class="">
<div class="">
<blockquote type="cite" class="">
<div class="">On Sep 22, 2017, at 8:03 AM, <a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">
nek5000-users@lists.mcs.anl.gov</a> wrote:</div>
<br class="Apple-interchange-newline">
<div class="">
<div dir="auto" class="">
<div class=""></div>
<div class="">This looks like a bug. </div>
<div class="">Can you try with the latest version and run genmap again (this will produce a .ma2 file).  Make sure you have just a .ma2 and no .map in your case directory.</div>
<div class=""><br class="">
</div>
<div class="">If this works I have to check why the old .map doesn’t.</div>
<div class=""><br class="">
</div>
<div class="">Stefan</div>
<div class=""><br class="">
On 22 Sep 2017, at 13:56, "<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a>" <<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a>> wrote:<br class="">
<br class="">
</div>
<blockquote type="cite" class="">
<div class="">
<meta name="Generator" content="Kopano HTML builder 1.0" class="">
<title class=""></title>
<!-- Converted from text/plain format -->
<p class=""><font style="font-family: courier" size="2" class="">Stefan,<br class="">
<br class="">
below is the log file of the run:<br class="">
<br class="">
|      _   __ ______ __ __  ______  ____   ____   ____     |<br class="">
|     / | / // ____// //_/ / ____/ / __ <a href="smb:///" class="">\\/</a> __ <a href="smb:///" class="">
\\/</a> __ \\   |<br class="">
|    /  |/ // __/  / ,<   /___ \\ / / / // / / // / / /    |<br class="">
|   / /|  // /___ / /| | ____/ / / /_/ // /_/ // /_/ /     |<br class="">
|  /_/ |_//_____//_/ |_|/_____/  <a href="smb://___/" class="">\\___/</a> <a href="smb://___/" class="">
\\___/</a> <a href="smb://___/" class="">\\___/</a>      |<br class="">
|                                                          |<br class="">
|----------------------------------------------------------|<br class="">
|                                                          |<br class="">
| NEK5000:  Open Source Spectral Element Solver            |<br class="">
| COPYRIGHT (c) 2008-2017 UCHICAGO ARGONNE, LLC            |<br class="">
| Version:  17.0.0-dev                                     |<br class="">
| Web:      <a href="http://nek5000.mcs.anl.gov/" class="">http://nek5000.mcs.anl.gov</a>                     |<br class="">
|                                                          |<br class="">
\\----------------------------------------------------------/<br class="">
<br class="">
<br class="">
Number of processors:        1024<br class="">
REAL    wdsize      :           8<br class="">
INTEGER wdsize      :           4<br class="">
Timer accuracy      : 9.54E-08<br class="">
<br class="">
Reading /home/mxd/Nek5000/run/actasys/3d-model/actuatorA.rea<br class="">
Switch on stress formulation to support PN/PN and IFUSERVP=T<br class="">
Reading /home/mxd/Nek5000/run/actasys/3d-model/actuatorA.re2<br class="">
mapping elements to processors<br class="">
Reading /home/mxd/Nek5000/run/actasys/3d-model/actuatorA.map<br class="">
<br class="">
I run my case with 1024 processors as suggested by Paul. The run hung for two hours before reaching the wall time.<br class="">
<br class="">
Marco<br class="">
> On Sep 22, 2017, at 3:09 AM, <a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">
nek5000-users@lists.mcs.anl.gov</a> wrote:<br class="">
> <br class="">
> Marco,<br class="">
> <br class="">
> can you please post your logfile. What version of Nek5000 do you use?<br class="">
> <br class="">
> Cheers,<br class="">
> Stefan<br class="">
> <br class="">
> -----Original message-----<br class="">
>> From:<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a> <<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a>><br class="">
>> Sent: Friday 22nd September 2017 2:40<br class="">
>> To: <a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a><br class="">
>> Subject: Re: [Nek5000-users] Simulation hanging at 'mapping elements to processors'<br class="">
>> <br class="">
>> Hi Paul,<br class="">
>> <br class="" /><br class="">
>> thanks for the help. I will give it a try tomorrow. I am indeed using the XXT coarse grid solver.<br class="">
>> <br class="" /><br class="">
>> Marco<br class="">
>> <br class="" /><br class="">
>> On Sep 21, 2017, at 6:49 PM, <br class="">
>> <a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a> <<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">mailto:nek5000-users@lists.mcs.anl.gov</a>> <<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a>
 <<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">mailto:Nek5000-users@lists.mcs.anl.gov</a>>> wrote:<br class="">
>> <br class="Apple-interchange-newline" /><br class="">
>> <br class="Apple-interchange-newline" /><br class="">
>> Hi Marco,<br class="">
>> <br class="" /><br class="">
>> I'm not 100 % about the hanging point, but I suggest - especially for larger problems like this - running on a power of 2 processors (i.e., 1024 in your case).<br class="">
>> <br class="" /><br class="">
>> This is particularly critical for performance when the XXT (default) coarse grid solver is used.  Less so, perhaps, for the AMG coarse solver...I'm assuming you're using the XXT one - but not certain.<br class="">
>> <br class="" /><br class="">
>> Best,<br class="">
>> <br class="" /><br class="">
>> Paul<br class="">
>> <br class="" /><br class="">
>> -----------<br class="">
>> From: Nek5000-users <<a href="mailto:nek5000-users-bounces@lists.mcs.anl.gov" class="">nek5000-users-bounces@lists.mcs.anl.gov</a> <<a href="mailto:nek5000-users-bounces@lists.mcs.anl.gov" class="">mailto:nek5000-users-bounces@lists.mcs.anl.gov</a>>><br class="">
>> on behalf of <a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a> <<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">mailto:nek5000-users@lists.mcs.anl.gov</a>> <<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">nek5000-users@lists.mcs.anl.gov</a>
 <<a href="mailto:nek5000-users@lists.mcs.anl.gov" class="">mailto:nek5000-users@lists.mcs.anl.gov</a>>><br class="" /><br class="">
>> Sent: Thursday, September 21, 2017 3:37:55 PM<br class="" /><br class="">
>> To: <a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a> <<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">mailto:Nek5000-users@lists.mcs.anl.gov</a>><br class="" /><br class="">
>> Subject: [Nek5000-users] Simulation hanging at 'mapping elements to processors'<br class="">
>> Hello,<br class="" /><br class="">
>> <br class="" /><br class="">
>> I am trying to run a simulation that has ~500,000 elements on 1280 processors with lx1=4 for debugging purposes. My simulation hangs after outputting 'mapping elements to processors’. I generated the mesh with Cubit and then used the exo2nek script to
 get the<br class="">
>> re2 file. Genmap runs fine on the re2 file.<br class="" /><br class="">
>> <br class="" /><br class="">
>> I was wondering if this problem has been encountered in the past, and what I could do to fix it.<br class="" /><br class="">
>> <br class="" /><br class="">
>> Thanks,<br class="" /><br class="">
>> Marco<br class="" /><br class="">
>> <br class="" /><br class="">
>> _______________________________________________<br class="" /><br class="">
>> Nek5000-users mailing list<br class="" /><br class="">
>> <a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a> <<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">mailto:Nek5000-users@lists.mcs.anl.gov</a>><br class="" /><br class="">
>> <a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a> <<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a>><br
 class="" /><br class="">
>> _______________________________________________<br style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform:
 none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class="" /><br class="">
>> Nek5000-users<br class="">
>> mailing list<br style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows:
 auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class="" /><br class="">
>> <a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a> <<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">mailto:Nek5000-users@lists.mcs.anl.gov</a>><br style="font-family: Helvetica; font-size: 12px; font-style:
 normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class="" /><br class="">
>> <a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a> <<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a>><br
 class="" /><br class="">
>> _______________________________________________<br class="">
>> Nek5000-users mailing list<br class="">
>> <a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a><br class="">
>> <a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br class="">
> _______________________________________________<br class="">
> Nek5000-users mailing list<br class="">
> <a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a><br class="">
> <a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br class="">
<br class="">
_______________________________________________<br class="">
Nek5000-users mailing list<br class="">
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a><br class="">
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br class="">
</font></p>
</div>
</blockquote>
</div>
_______________________________________________<br class="">
Nek5000-users mailing list<br class="">
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a><br class="">
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br class="">
</div>
</blockquote>
</div>
<br class="">
</div>
</div>
</div>
_______________________________________________<br class="">
Nek5000-users mailing list<br class="">
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a><br class="">
<a href="https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users" class="">https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users</a><br class="">
</div>
</blockquote>
</div>
<br class="">
</div>
</div>
</blockquote>
</div>
_______________________________________________<br class="">
Nek5000-users mailing list<br class="">
<a href="mailto:Nek5000-users@lists.mcs.anl.gov" class="">Nek5000-users@lists.mcs.anl.gov</a><br class="">
https://lists.mcs.anl.gov/mailman/listinfo/nek5000-users<br class="">
</div>
</blockquote>
</div>
<br class="">
</div>
</body>
</html>