<div dir="ltr">On Wed, Jan 23, 2013 at 4:37 PM, Karl Rupp <span dir="ltr"><<a href="mailto:rupp@mcs.anl.gov" target="_blank">rupp@mcs.anl.gov</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Dear PETScians,<br>
<br>
I've adopted the HTML summary page script for the style checks a little in order to have a quick overview of the results of our nightly tests:<br>
  <a href="http://krupp.iue.tuwien.ac.at/petsc-test/" target="_blank">http://krupp.iue.tuwien.ac.at/<u></u>petsc-test/</a><br>
It doesn't do anything fancy, particularly no automatic bisection or the like, but it gives an overview of the Nightly results in seconds (which are not overly good at the moment...).<br></blockquote><div><br></div><div style>
Yep, this is nice.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Assuming that there is no question about the need for improving our current automatic testing environment, it's merely a question of how far we want to go. Regarding overall productivity, I made good experiences with just using CTest and setting the summary page as the start page of my browser. It's not overly complicated an can be integrated with reasonable effort into our CMake build system.<br>

<br>
We could also do all the fancy things provided by continuous integration systems. Sadly, I don't have any experience on that front. Regardless, I still prefer rather simple systems which are in daily use and fairly robust rather than a complex, it-can-do-anything-for-you-if-<u></u>you-find-the-right-switch system that is never set up...<br>

<br>
Any thoughts/experiences? I know Jed has good plans on a testing environment, so this is not meant to be an assault on him ;-)<br></blockquote><div><br></div><div style>I am always skeptical of big programs to overall a large piece of infrastructure that works fairly well.</div>
<div style><br></div><div style>However, there is a really simple thing that we need which would make us much much much better</div><div style>at using our own tests. We need a better way to test numerical output. I am not sure what the right</div>
<div style>thing to do is, or I would have already done it.</div><div style><br></div><div style>The current best solution is to print fewer digits, which judging from the HTML page is not sufficient.</div><div style>I think that current PETSc output is so stylized that parsing output is feasible, and would allow nice</div>
<div style>diffs with tolerances tailored to the type of output and individual test.</div><div style><br></div><div style>    Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Best regards,<br>
Karli<br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener
</div></div>