<div dir="ltr">Barry,<div><br></div><div>* see attached configure log</div><div>* times are the "real time" reported by the unix time command</div><div>* all the packages should rebuild because the reconfigure script has a --with-clean=1</div><div>* not sure about the load while configuring, if you can tell me how to check this I can run again and monitor it</div><div><br></div><div>Nate</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Feb 26, 2015 at 3:15 PM, Barry Smith <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
  Nathan,<br>
<br>
   Any idea what the load was on the compiler server during the configure/make ?<br>
<span class="im HOEnZb"><br>
  Barry<br>
<br>
> On Feb 26, 2015, at 8:13 AM, Nathan Collier <<a href="mailto:nathaniel.collier@gmail.com">nathaniel.collier@gmail.com</a>> wrote:<br>
><br>
</span><div class="HOEnZb"><div class="h5">> Ok, so I built PETSc with metis, parmetis, superlu_dist, and hyper on Titan. The configure time is the second configure--when you run the reconfigure script that the batch submission generates for you.<br>
><br>
> configure:  38m15.488s<br>
> make: 15m37.610s<br>
><br>
> Nate<br>
><br>
><br>
> On Thu, Feb 26, 2015 at 2:28 AM, Satish Balay <<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>> wrote:<br>
> I think we made some progress in improving build times.<br>
><br>
> We have some of the externalpackages building using parallel make - so<br>
> that part is faster now. [ Some of this stuff might be in master - but<br>
> not 3.5]<br>
><br>
> Some packages are still built sequentially [for eg:<br>
> fblaslapack,scalapack,superlu etc]. Fixing them can reduce build time<br>
> significantly. [esp if the machine has many cores]<br>
><br>
> The sequential configure [of all packages] is still the<br>
> bottleneck. All compiles [by PETSc configure] are done in TMPDIR to<br>
> avoid NFS I/O.<br>
><br>
> Reducing the number of tests done in configure won't be easy. I have a<br>
> minor fix that avoids unnecessary compiles wrt externalpackages in<br>
> branch 'balay/update-configure-lib-search'<br>
><br>
> BTW: I don't have access to oakridge machines..<br>
><br>
> Satish<br>
><br>
> On Wed, 25 Feb 2015, Barry Smith wrote:<br>
><br>
> ><br>
> >   Shockingly this is not bad (though more than it should be), we've seen times like an hour on the NERSC and ANL systems.<br>
> ><br>
> >   If you have time :-) could you run with metis, permetis, superlu_dist and hypre --with-debugging=0 and get the times separately for configure and make?<br>
> ><br>
> >   Thanks<br>
> ><br>
> >    Barry<br>
> ><br>
> > > On Feb 25, 2015, at 9:05 PM, Nathan Collier <<a href="mailto:nathaniel.collier@gmail.com">nathaniel.collier@gmail.com</a>> wrote:<br>
> > ><br>
> > > I have built on Titan, I can time my configure for more accurate answers but I would say it was on the order of 10-15 minutes. That is with a Metis/parmetis build. Is this the type of experience you are looking for? More details?<br>
> > ><br>
> > > Nate<br>
> > ><br>
> > > On Wednesday, February 25, 2015, Victor Eijkhout <<a href="mailto:eijkhout@tacc.utexas.edu">eijkhout@tacc.utexas.edu</a>> wrote:<br>
> > ><br>
> > > > On Feb 25, 2015, at 1:27 PM, Barry Smith <<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>> wrote:<br>
> > > ><br>
> > > > If you have accounts there and can reproduce slow configure/make times<br>
> > ><br>
> > > Just let me know if you want a comparison to TACC machines.<br>
> > ><br>
> > > Starting with Ranger, we gave our build node its own file system because I regularly crashed lustre with the petsc build. No fault of Petsc.<br>
> > ><br>
> > > And I have no complaints about the configure/make speed, on either our build node or the regular user file system.<br>
> > ><br>
> > > Victor.<br>
> > ><br>
> ><br>
> ><br>
><br>
><br>
<br>
</div></div></blockquote></div><br></div>