<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Sun, Nov 12, 2017 at 11:45 AM, Jed Brown <span dir="ltr"><<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Satish Balay <<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>> writes:<br>
<br>
> On Sun, 12 Nov 2017, Smith, Barry F. wrote:<br>
><br>
>>      If the testing/fixing would be faster if we bought more machines then decide what machines we need and we order them now. Buying machines is far better than wasting even more people time (which is much more expensive).<br>
><br>
> Its wading through the numerous logs and and deciding on how to debug<br>
> the breakages that's the limiting factor. [the more builds we add the<br>
> more logs are generated]. And there is a basic breakage - that gets<br>
> replicated in all the 40 logs [sometimes multiple times]<br>
><br>
> [so I usually end up punting looking at the logs :(]. Yeah we have<br>
> some scripts that checks and sends blame e-mail. I'll have to check if<br>
> its still working or broken. [but it doesn't cover all breakages]<br>
><br>
> And them I'm usually using brute-force bisection to find the change<br>
> that might have triggered [i.e not really debugging] - to identify who<br>
> the breakage belongs to.<br>
><br>
> Perhaps new hardware might help - but its not clear by how<br>
> much. Improvements to the build tools might also help [again have to<br>
> figure out how to improve without breaking things..]<br>
<br>
I would expect we'll need more capacity if we're automatically testing<br>
branches before merging to 'next'.  We might consider using a cloud<br>
provider like EC2 instead of managing our own hardware far that since<br>
the demand will be dynamic -- whenever people update pull requests.<br>
<br>
If we get basic testing before merging, the only breakage in 'next'<br>
should be the more interesting interactions.  Most days should be clean.<br>
</blockquote></div><br>Have we tried histogramming test times? It would be nice to know how much cumulative</div><div class="gmail_extra">time it takes to run 37%, 67%, 95%, etc.</div><div class="gmail_extra"><br></div><div class="gmail_extra">   Matt<br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.caam.rice.edu/~mk51/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div>
</div></div>