<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<title>General Scalability Question</title>
<meta content="MSHTML 6.00.2800.1634" name="GENERATOR">
</head>
<body>
<div><span class="621563415-26102009"><font face="Arial" color="#0000ff" size="2">So far my experience has been that the in core message transfer rate is far better than a gigabyte switch and backbone.&nbsp; Infiniband would be a dramatic improvement but it's hard
 to believe that it could keep up with in memory.&nbsp; What has worked out best for our app is a single message thread, and then the app using shared memory directly to distribute.&nbsp; That dramatically lowers the number of open sockets and communication overhead.&nbsp;
 It may not work best in every case, but for us it worked better regardless of very high core/process count per node or lower count per node.&nbsp; So we ran only one MPI process per physical node.&nbsp; It also lowers the number of sockets you have to support on node
 0 if you have point to point communication.&nbsp; Linux at least defaults to 1048 sockets and files, and it's nice for node 0 performance to keep under that.&nbsp; You can raise it with ulimit, but when you're got 15000 cores, it's pretty expensive to have one MPI process
 per core.</font></span></div>
<blockquote>
<div class="OutlookMessageHeader" dir="ltr" align="left"><font face="Tahoma" size="2">-----Original Message-----<br>
<b>From:</b> mpich-discuss-bounces@mcs.anl.gov [mailto:mpich-discuss-bounces@mcs.anl.gov]<b>On Behalf Of
</b>Robertson, Andrew<br>
<b>Sent:</b> Monday, October 26, 2009 10:30 AM<br>
<b>To:</b> mpich-discuss@mcs.anl.gov<br>
<b>Subject:</b> [mpich-discuss] General Scalability Question<br>
<br>
</font></div>
<!-- Converted from text/rtf format -->
<p><font face="Arial" size="2">Folks,</font> <br>
<font face="Arial" size="2">Our IT staff is not particularly knowledgeable about parallel computing. Their current upgrade plan centers around quad/quad or dual/hex boxes which would have 16 or 12 cores respectively. I have no doubt that such a machine would
 run a parallel job efficiently. My question is how well can I harness multiple boxes together?
</font></p>
<p><font face="Arial" size="2">The applications are all CFD (FLUENT, GASP, STAR, VULCAN). I am talking to the various software vendors about this but would like some info from the programming community.
</font></p>
<p><font face="Arial" size="2">Assuming the same memory per core am I better off with</font>
</p>
<p><font face="Arial" size="2">High core count (12-16) boxes on a gigabit switch</font>
<br>
<font face="Arial" size="2">Lower core count (2 -4) boxes on an infiniband switch.</font>
</p>
<p><font face="Arial" size="2">I understand that if I configure mpich correctly it will use shared memory on the mutli-core multi-processor boxes. If I end up with the high core count boxes, should I spec the frontside bus (or whatever it is called now) as
 high as possible??</font></p>
<p><font face="Arial" size="2">I also have concerns that a single power supply failure takes out more cores, though perhaps that is not such a problem</font>
</p>
<p><font face="Arial" size="2">Any information is greatly appreciated</font> </p>
<br>
<p><font face="Arial" size="2">Thanks</font> <br>
<font face="Arial" size="2">Andy</font> <br>
<font face="Arial" size="2">--------------------</font> <br>
<font face="Times New Roman">Andrew Robertson P.E.</font> <br>
<font face="Times New Roman">CFD Analyst</font> <br>
<font face="Times New Roman">GASL Operations</font> <br>
<font face="Times New Roman">Tactical Propulsion and Controls</font> <br>
<font face="Times New Roman">ATK</font> <br>
<font face="Times New Roman">77 Raynor Avenue</font> <br>
<font face="Times New Roman">Ronkokoma NY 11779</font> <br>
<font face="Times New Roman">631-737-6100 Ext 120</font> <br>
<font face="Times New Roman">Fax: 631-588-7023</font> <br>
<a href="file://www.atk.com"><u><font face="Times New Roman" color="#0000ff">www.atk.com</font></u></a>
</p>
<p><font face="Times New Roman">!! Knowledge and Thoroughness Baby !!</font> </p>
<br>
</blockquote>
</body>
</html>