<div dir="ltr"><div dir="ltr">On Thu, Dec 31, 2020 at 1:48 PM Barry Smith <<a href="mailto:bsmith@petsc.dev">bsmith@petsc.dev</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><br></div>  So the programs output changes and should no longer match that in the output/* file yet the test harness does not error with a statement that the two outputs do not match? <div><br></div><div>   I noticed the gmakegentest.py is not being run before it runs the test? Does this mean it is just running all the old stuff which does match fine? </div><div><br></div><div>   Then either how petscdiff is called by the test harness has changed or petscdiff has changed and does not detect changes anymore </div><div><br></div><div>   BTW: I always use -f ./gmakefile.test test not just the gmakefile</div><div><br></div><div>   All the PETSc changes are trivial and can be seen with a simple diff, it is hard to believe they would cause this behavior but I guess they must.</div><div><br></div><div>   You can go to PETSC_ARCH/tests/snes/tests and run the ex13 shell script directly.</div></div></blockquote><div><br></div><div>It is the sed problem:</div><div><br></div><div>master *$:/PETSc3/petsc/petsc-dev$ /PETSc3/petsc/petsc-dev/lib/petsc/bin/petscdiff   /PETSc3/petsc/petsc-dev/src/snes/tests/output/ex13_bench.out ex13_bench.tmp<br><br></div><div>sed: 1: "s/\033[1;31m//g": unbalanced brackets ([])<br>sed: 1: "s/\033[0;39m\033[0;49m//g": unbalanced brackets ([])<br>sed: 1: "s/\033[1;31m//g": unbalanced brackets ([])<br>sed: 1: "s/\033[0;39m\033[0;49m//g": unbalanced brackets ([])<br></div><div><br></div><div>The error was getting eaten.</div><div><br></div><div>This is in current master. Is it fixed in a branch? </div><div><br></div><div>   Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div>  Barry</div><div><br><div><br><blockquote type="cite"><div>On Dec 31, 2020, at 12:38 PM, Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>> wrote:</div><br><div><div dir="ltr">I just pulled master, and simple alterations to tests do not produce a failure:<div><br></div><div>master *$:/PETSc3/petsc/petsc-dev$ PETSC_ARCH=arch-master-debug make -f ./gmakefile test search="snes_tests-ex13_bench" TIMEOUT=5000 EXTRA_OPTIONS="-dm_<br>refine 0"<br>Using MAKEFLAGS: EXTRA_OPTIONS=-dm_refine 0 TIMEOUT=5000 search=snes_tests-ex13_bench<br>        TEST arch-master-debug/tests/counts/snes_tests-ex13_bench.counts<br> ok snes_tests-ex13_bench<br> ok diff-snes_tests-ex13_bench<br><div><br></div><div>I check that the runs produce different output when done manually.</div><div><br></div><div>Scott and Barry, could this be related to changed to testing?</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div></div>
</div></blockquote></div><br></div></div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>