<div dir="ltr"><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">The function tolerances are usually something like |f(x_k) - f_(x_{k-1})| <= fatol</blockquote></div><div><br></div>But that is *not* what they are in TAO, this has always been a source of confusion.<div><br></div><div>The one upside of the f-tolerances is that they give the users a reasonable level of confidence that the objective function value </div><div>achieved is within ftol of the true minimum, but it just happens to be redundant because f(x)-f(X*) is estimated using ||g(x)||^2 (How? I thought this made sense to me once, but now I don't see it anymore) and we also have a convergence criteria for ||g(x)||.</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Sep 9, 2015 at 10:02 AM, Munson, Todd S. <span dir="ltr"><<a href="mailto:tmunson@mcs.anl.gov" target="_blank">tmunson@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
I do not see a need to keep them around.  The function tolerances are<br>
usually something like |f(x_k) - f_(x_{k-1})| <= fatol and then you<br>
use |f(x_0)| in the denominator for the relative tolerance.  There<br>
are pretty useless tests though and give many false positives.<br>
<span class="HOEnZb"><font color="#888888"><br>
Todd.<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
> On Sep 9, 2015, at 9:26 AM, Jason Sarich <<a href="mailto:sarich@mcs.anl.gov">sarich@mcs.anl.gov</a>> wrote:<br>
><br>
> Todd, can you come up with a reason why we might need to keep these fatol, frtol tests around? I would prefer to take them out.<br>
><br>
> Jason<br>
><br>
> On Tue, Sep 8, 2015 at 9:54 PM, Smith, Barry F. <<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>> wrote:<br>
><br>
>   Jason,<br>
><br>
>    Perhaps it is just documentation.<br>
><br>
> /*@<br>
>   TaoSetTolerances - Sets parameters used in TAO convergence tests<br>
><br>
>   Logically collective on Tao<br>
><br>
>   Input Parameters:<br>
> + tao - the Tao context<br>
> . fatol - absolute convergence tolerance<br>
> . frtol - relative convergence tolerance<br>
> . gatol - stop if norm of gradient is less than this<br>
> . grtol - stop if relative norm of gradient is less than this<br>
> - gttol - stop if norm of gradient is reduced by this factor<br>
><br>
>   Options Database Keys:<br>
> + -tao_fatol <fatol> - Sets fatol<br>
> . -tao_frtol <frtol> - Sets frtol<br>
> . -tao_gatol <gatol> - Sets gatol<br>
> . -tao_grtol <grtol> - Sets grtol<br>
> - -tao_gttol <gttol> - Sets gttol<br>
><br>
>   Stopping Criteria:<br>
> $ f(X) - f(X*) (estimated)            <= fatol<br>
> $ |f(X) - f(X*)| (estimated) / |f(X)| <= frtol<br>
> $ ||g(X)||                            <= gatol<br>
> $ ||g(X)|| / |f(X)|                   <= grtol<br>
> $ ||g(X)|| / ||g(X0)||                <= gttol<br>
><br>
> How is f(x) - f(X*) (estimated) and how come the second definition has absolute values but the first does not?<br>
><br>
> From below it looks like f(x) - f(X*)  is estimated as gnorm*gnorm?<br>
><br>
>   } else if (gnorm2 <= fatol && cnorm <=catol) {<br>
>     ierr = PetscInfo2(tao,"Converged due to estimated f(X) - f(X*) = %g < %g\n",(double)gnorm2,(double)fatol);CHKERRQ(ierr);<br>
>     reason = TAO_CONVERGED_FATOL;<br>
>   } else if (f != 0 && gnorm2 / PetscAbsReal(f)<= frtol && cnorm/PetscMax(cnorm0,1.0) <= crtol) {<br>
>     ierr = PetscInfo2(tao,"Converged due to estimated |f(X)-f(X*)|/f(X) = %g < %g\n",(double)(gnorm2/PetscAbsReal(f)),(double)frtol);CHKERRQ(ierr);<br>
>     reason = TAO_CONVERGED_FRTOL;<br>
><br>
> It seems the next test is the same as the first I list above exact gnorm is not squared? Why is it worth having this duplicate test?<br>
><br>
>   } else if (gnorm<= gatol && cnorm <=catol) {<br>
>     ierr = PetscInfo2(tao,"Converged due to residual norm ||g(X)||=%g < %g\n",(double)gnorm,(double)gatol);CHKERRQ(ierr);<br>
>     reason = TAO_CONVERGED_GATOL;<br>
><br>
> At a minimum the manual page should document what f(X) - f(X*) (estimated)     means.<br>
><br>
>   Barry<br>
><br>
>   } else if ( f!=0 && PetscAbsReal(gnorm/f) <= grtol && cnorm <= crtol) {<br>
>     ierr = PetscInfo2(tao,"Converged due to residual ||g(X)||/|f(X)| =%g < %g\n",(double)(gnorm/f),(double)grtol);CHKERRQ(ierr);<br>
><br>
><br>
<br>
</div></div></blockquote></div><br></div>