<div dir="ltr">On Sat, Feb 9, 2013 at 8:23 PM, Jed Brown <span dir="ltr"><<a href="mailto:jedbrown@mcs.anl.gov" target="_blank">jedbrown@mcs.anl.gov</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote"><div class="im">On Sat, Feb 9, 2013 at 7:15 PM, Matthew Knepley <span dir="ltr"><<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div>On Sat, Feb 9, 2013 at 6:52 PM, Barry Smith <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br>

</div><div class="gmail_extra"><div class="gmail_quote"><div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div><br>
On Feb 8, 2013, at 11:04 PM, Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>> wrote:<br>
<br>
> There are some broken examples in SNES that I would like to clean up in preparation for real output checking there. They are<br>
><br>
>   ex5: I think we just overwrite the solutions with the current stuff<br>
><br>
>   ex22 and ex58: Barry this look like you, and the results are really different<br>
<br>
</div>   The new values are no less valid than the old so just overwrite the old outputs.</blockquote><div><br></div></div><div>Okay, pushed.</div></div></div></blockquote><div><br></div></div><div><div>The ex5 output changed here, for a justifiable reason, though the code got much messier to implement this change.</div>

<div><br></div><div><a href="https://bitbucket.org/petsc/petsc-dev/commits/4c6428f5d4f1623dc2ea08f9e0be167f2bcf9c69" target="_blank">https://bitbucket.org/petsc/petsc-dev/commits/4c6428f5d4f1623dc2ea08f9e0be167f2bcf9c69</a></div>
<div><br>
</div><div>Tests output needs to be updated when an intentional change like this is made.</div></div></div></div></div></blockquote><div><br></div><div style>I completely agree. That is why I want to get to a believable state soon. Then we have nightly</div>
<div style>tests behaving like nightly builds. Breakage is fixed immediately.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra">
<div class="gmail_quote"><div><div>I didn't bisect for ex22 or ex58, but perhaps it's a similar issue.</div></div><div class="im"><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="gmail_extra"><div class="gmail_quote"><div> Next step, insert Python validator for output, possibly with more structure.</div></div></div></blockquote></div></div><div class="gmail_extra"><br></div><div class="gmail_extra">

What's your plan for implementing this?</div></div></div>
</blockquote></div><br>My plan was to try the easiest thing I could think of first:</div><div class="gmail_extra"><br></div><div class="gmail_extra">  a) Make a replacement monitor for SNES and KSP</div><div class="gmail_extra">
<br></div><div class="gmail_extra">      It would have a big honking sentinel before each solve and iterations in Python array format</div><div class="gmail_extra"><br></div><div class="gmail_extra">  b) Run a braindead Python parser over this which snips out the monitors</div>
<div class="gmail_extra"><br></div><div class="gmail_extra">  c) Diff the monitor sections with a numerical tolerance</div><div class="gmail_extra"><br></div><div class="gmail_extra">  d) Diff the whole thing, and throw out differences in the monitor sections, since we know the line numbers.</div>
<div class="gmail_extra">      Maybe it would be easier to just remove those lines, but we need to experiment a little.</div><div class="gmail_extra"><br></div><div class="gmail_extra">   Matt<br clear="all"><div><br></div>
-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener
</div></div>