<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Nov 15, 2017 at 10:48 PM, Smith, Barry F. <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-"><br>
<br>
> On Nov 15, 2017, at 8:30 PM, Matthew Knepley <<a href="mailto:knepley@gmail.com">knepley@gmail.com</a>> wrote:<br>
><br>
> On Wed, Nov 15, 2017 at 8:56 PM, Richard Tran Mills <<a href="mailto:rtmills@anl.gov">rtmills@anl.gov</a>> wrote:<br>
> On Sun, Nov 12, 2017 at 9:54 AM, Smith, Barry F. <<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>> wrote:<br>
><br>
><br>
> > On Nov 12, 2017, at 11:21 AM, Matthew Knepley <<a href="mailto:knepley@gmail.com">knepley@gmail.com</a>> wrote:<br>
> ><br>
> > On Sun, Nov 12, 2017 at 12:17 PM, Satish Balay <<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>> wrote:<br>
> > On Sun, 12 Nov 2017, Matthew Knepley wrote:<br>
> ><br>
> > ><br>
> > > Have we tried histogramming test times? It would be nice to know how much<br>
> > > cumulative<br>
> > > time it takes to run 37%, 67%, 95%, etc.<br>
> ><br>
> > I'm not sure what 'histogramming test time' means.<br>
> ><br>
> > The below looked like cumulative times over all tests. I want the time for each test, and then<br>
> > we bin them into say 10s wide bins and see which ones are taking the most time.<br>
><br>
>   WE FREAKING NEED TO CONVERT TO THE NEW TEST HARNESS TO DO THIS, then it is easy.<br>
><br>
>   So everyone, please, instead of spending twenty minutes a day sending and reading email about testing spend 20 minutes a day converting examples from the old tests to the new harness!!!!!<br>
><br>
> For those of us who have no idea how to do this, could someone please give me a pointer or two on where to look for an example or two or some documentation? I should probably be spending a few minutes a day converting some examples, but I don't know how or where to start.<br>
><br>
> There is a manual chapter on the test system, but for cut & paste semantics, you can look at SNES which has a lot of converted examples.<br>
> Basically, you take each test entry from the makefile, and move it into the source file itself.<br>
<br>
</span>  Richard,<br>
<br>
   Scott wrote a tool to semi-automatically do it from the makefile but sadly the tool is currently broken (it had no nightly testing) and like most python code is undebuggable.  Anyways  after you have put a test in the example source code manually as Matt says, you run from PETSC_DIR<br>
<br>
    ./config/gmakegentest.py<br></blockquote><div><br></div><div>You give the arch</div><div><br></div><div>  ./config/gmakegentest.py --petsc-arch=arch-master-debug</div><div><br></div><div>I have encountered a strange behavior, perhaps only on my machine, where if I do not run</div><div><br></div><div>  PETSC_ARCH=arch-master-debug ./config/gmakegentest.py --petsc-arch=arch-master-debug</div><div><br></div><div>then it does not update correctly.</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
this parses all the examples and sets up the scripts that are run to do the testing. Then use, for example,<br>
<br>
  make -f gmakefile test globsearch='*heat*'<br>
<br>
to run all tests that have heat in the example name or path. Or you can do<br>
<br>
<br>
  make -f gmakefile test globsearch='dm*'<br>
<br>
to run all tests in the dm directories. Sometimes you need a little trial and error to get the globsearch right to run your example and not others.<br>
<br>
You will get a little frustrated the first couple times you do it, just bug us and we'll help you get past the stumbling blocks.<br>
<span class="gmail-HOEnZb"><font color="#888888"><br>
  Barry<br>
</font></span><div class="gmail-HOEnZb"><div class="gmail-h5"><br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
><br>
>   Matt<br>
><br>
> --Richard<br>
><br>
><br>
><br>
> ><br>
> >    Matt<br>
> ><br>
> > All logs record time. And Karl's script summarizes those times on the<br>
> > dashboard. For eg:<br>
> ><br>
> > <a href="http://ftp.mcs.anl.gov/pub/petsc/nightlylogs/archive/2017/11/11/maint.html" rel="noreferrer" target="_blank">http://ftp.mcs.anl.gov/pub/<wbr>petsc/nightlylogs/archive/<wbr>2017/11/11/maint.html</a><br>
> ><br>
> > If you want to do some analysis on those times - you can grab the<br>
> > [historical] logs and run the required analysis.<br>
> ><br>
> > Satish<br>
> ><br>
> ><br>
> ><br>
> > --<br>
> > What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
> > -- Norbert Wiener<br>
> ><br>
> > <a href="https://www.cse.buffalo.edu/~knepley/" rel="noreferrer" target="_blank">https://www.cse.buffalo.edu/~<wbr>knepley/</a><br>
><br>
><br>
><br>
><br>
><br>
> --<br>
> What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
> -- Norbert Wiener<br>
><br>
> <a href="https://www.cse.buffalo.edu/~knepley/" rel="noreferrer" target="_blank">https://www.cse.buffalo.edu/~<wbr>knepley/</a><br>
<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.caam.rice.edu/~mk51/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div>
</div></div>