<div dir="ltr"><div dir="ltr">On Thu, Sep 23, 2021 at 5:07 AM Pierre Jolivet <<a href="mailto:pierre@joliv.et">pierre@joliv.et</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hello,<br>
When a tests fails because the timeout limit is reached, check-test-errors still returns a 0 exit code.<br>
Is this intended? Any way to bypass this and return something different than 0, as it could return false negative in CI tests?<br></blockquote><div><br></div><div>This is the intended behavior. We ignore timeouts, but report them.</div><div><br></div><div>I would not have a problem with a flag to convert these to errors, but I would leave this default.</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Thanks,<br>
Pierre<br>
<br>
$ make -f gmakefile test s='ksp_ksp_tutorials-ex2_1' EXTRA_OPTIONS="-m 200 -n 200" check-test-errors 2>&1 > /dev/null; echo $?<br>
make: *** [check-test-errors] Error 1<br>
2<br>
$ make -f gmakefile test s='ksp_ksp_tutorials-ex2_1' EXTRA_OPTIONS="-m 200 -n 200" check-test-errors TIMEOUT=1 2>&1 > /dev/null; echo $?<br>
0</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>