<div dir="ltr"><div><div><div><div>Hi Barry,<br><br></div>Points 1) and 2) are bang on -- you understand the situation very well. <br><br></div>1) with regards to being able to apply the RHS efficiently in C -- I would be happy to do this, but I worry about how to cleanly get C arrays back into NumPy arrays -- NumPy arrays are easy to manipulate for animation, and general data analysis and visualization. Still, this is not so bad, because all it requires is some learning from my part, since I know that NumPy does have a C API.<br><br></div>2) b) Yes, the functions are discontinuous, in particular because some parameters can jump in value from 0 to non-zero when certain conditions are met ("is point outside of of boundary polygon? then turn on extra inhibition"). <br><br>a) I think if I ignored such discontinuities and just considered a simpler problem where I had to write the derivative of r_n (one of the chemistry variables at node n, whose inhibition is related to the magnitude of strain in the edges connecting to the node in question) with respect to x_n (the x-direction position variable of node n), things begin to get tricky and complicated, manual differentiation wise. <br><br>Then, we also have to consider how r_n changes as x_(n+k) changes (how does r at node n change, with respect to the change in position of another node, n+k, which would affect the strain at this node), and things get even more cumbersome and annoying -- at least in my head. Someone mentioned "automatic differentiation", but I don't know enough about that to say anything more -- is that the same as computing the Jacobian using finite differences? Some quick Wikipedia reading seems to say "no".<br><br><br>> You could use explicit schemes with a small enough timestep to satisfy 
any stability condition and forget about using implicit schemes. Then it
 becomes crucial to have a very fast right hand side function (since you
 will need many time steps). If you are lucky you can use something like
 a 4th order RK scheme (but again maybe with a non smooth right hand 
side may you can't).<br><br></div><div>In the literature, this seems to be common approach for those who are only modelling space variables at node n, and not any chemistry. I have a feeling (although this is probably because I am a novice at numerical analysis) that calculating some bound on the timesteps below which stability is guaranteed would be very tough for the full problem including space variables and chemistry variables. I suppose I could skip the math and just try to reduce the timestep until things seem to work in comparison with the results from an implicit scheme, and then decide "good enough!"?<br><br></div><div>How robust would that be though? If I have to repeat the comparison with results from an implicit method quite often, then it may not be worth it?<br></div><div><br><br></div><div>Kind regards,<br></div><div>Brian<br></div><div><br><br> <br></div><div><br><br><br><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Dec 10, 2015 at 11:51 AM, Barry Smith <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov" target="_blank">bsmith@mcs.anl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
   Brian,<br>
<br>
     I see two distinct issues here<br>
<br>
1) being apply to apply your right hand side efficiently and<br>
<br>
2) what type of ODE integrators, if any, can work well for your problem with its funky, possibly discontinuous right hand side?<br>
<br>
1)  Looking at the simplicity of your data structure and function evaluation I think you should just write your right hand side functions in C. The code would be no more complicated than it is now, from what you showed me. Even with "just in time" compilation likely you lose at least a factor of 10 by coding in python, maybe 100? I don't know. It looks to me like an easy translation of your current routines to C.<br>
<br>
2) This is tricky. You a) cannot compute derivatives? and b) the function and derivatives may not be smooth?<br>
<br>
    If the function was well behaved you could use finite differences to compute the Jacobian (reasonably efficiently, the cost is just some number of function evaluations) but with a flaky right hand side function the finite differences can produce garbage.<br>
<br>
    You could use explicit schemes with a small enough timestep to satisfy any stability condition and forget about using implicit schemes. Then it becomes crucial to have a very fast right hand side function (since you will need many time steps). If you are lucky you can use something like a 4th order RK scheme (but again maybe with a non smooth right hand side may you can't).<br>
<br>
   I am no expert. Perhaps Emil who is far more knowledgable about these things has questions?<br>
<span class="HOEnZb"><font color="#888888"><br>
   Barry<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
<br>
> On Dec 10, 2015, at 12:52 PM, Brian Merchant <<a href="mailto:bhmerchant@gmail.com">bhmerchant@gmail.com</a>> wrote:<br>
><br>
> Hi Barry,<br>
><br>
> Here's some non-trivial example code: <a href="https://gist.github.com/bmer/2af429f88b0b696648a8" rel="noreferrer" target="_blank">https://gist.github.com/bmer/2af429f88b0b696648a8</a><br>
><br>
> I have still made some simplifications by removing some phase variables, expanding on variable names in general, and so on.<br>
><br>
> The rhs function itself is defined on line 578. The functions referred to within it should be all defined above, so you can have a peek at them as necessary.<br>
><br>
> Starting from line 634 I show how I use the rhs function. In particular, note the "disjointed" evaluation of the integral -- I don't just evaluate from 0 to t all at one go, but rather evaluate the integral in pieces (let's call the time spent between the end of one integral evaluation, and the start of the next integral evaluation a "pause"). This is so that if there were multiple amoebas, during the "pause", I can take into account changes in some of the parameters due to contact between one amoeba and another -- poor man's simplification.<br>
><br>
> Please let me know if this is what you were looking for. I wouldn't be surprised if it wasn't, but instead would be happy to try to rework what I've got so it's more in line with what would be meaningful to you.<br>
><br>
> Kind regards,<br>
> Brian<br>
><br>
> On Wed, Dec 9, 2015 at 2:18 PM, Barry Smith <<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>> wrote:<br>
><br>
>   I prefer the actual code, not the mathematics or the explanation<br>
><br>
> > On Dec 9, 2015, at 3:42 PM, Brian Merchant <<a href="mailto:bhmerchant@gmail.com">bhmerchant@gmail.com</a>> wrote:<br>
> ><br>
> > Hi Barry,<br>
> ><br>
> > > Could send an example of your "rhs" function; not a totally trivial example<br>
> ><br>
> > Sure thing! Although, did you check out the exam I tried to build up in this stackexchange question, along with a picture: <a href="http://scicomp.stackexchange.com/questions/21501/is-it-worth-switching-to-timesteppers-provided-by-petsc-if-i-cant-write-down-a" rel="noreferrer" target="_blank">http://scicomp.stackexchange.com/questions/21501/is-it-worth-switching-to-timesteppers-provided-by-petsc-if-i-cant-write-down-a</a><br>
> ><br>
> > I ask because that's probably the best I can do without using as little math as possible.<br>
> ><br>
> > Otherwise, what I'll do is take a couple of days to carefully look at my work, and write up a non-trivial example of a difficult-to-differentiate RHS, that still is a simplification of the whole mess -- expect a one or two page PDF?<br>
> ><br>
> > Kind regards,<br>
> > Brian<br>
> ><br>
> > On Mon, Dec 7, 2015 at 12:45 PM, Barry Smith <<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>> wrote:<br>
> ><br>
> >    Brian,<br>
> ><br>
> >     Could send an example of your "rhs" function; not a totally trivial example<br>
> ><br>
> >    Barry<br>
> ><br>
> > > On Dec 7, 2015, at 11:21 AM, Brian Merchant <<a href="mailto:bhmerchant@gmail.com">bhmerchant@gmail.com</a>> wrote:<br>
> > ><br>
> > > Hi all,<br>
> > ><br>
> > > I am considering using petsc4py instead of scipy.integrate.odeint (which is a wrapper for Fortran solvers) for a problem involving the solution of a system of ODEs. The problem has the potential to be stiff. Writing down its Jacobian is very hard.<br>
> > ><br>
> > > So far, I have been able to produce reasonable speed gains by writing the RHS functions in "something like C" (using either numba or Cython). I'd like to get even more performance out, hence my consideration of PETSc.<br>
> > ><br>
> > > Due to the large number of equations involved, it is already tedious to think about writing down a Jacobian. Even worse though, is that some of the functions governing a particular interaction do not have neat analytical forms (let alone whether or not their derivatives have neat analytical forms), so we might have a mess of piecewise functions needed to approximate them if we were to go about still trying to produce a Jacobian...<br>
> > ><br>
> > > All the toy examples I see of PETSc time stepping problems have Jacobians defined, so I wonder if I would even get a speed gain going from switching to it, if perhaps one of the reasons why I have a high computational cost is due to not being able to provide a Jacobian function?<br>
> > ><br>
> > > I described the sort of problem I am working with in more detail in this scicomp.stackexchange question, which is where most of this question is copied from, except it also comes with a toy version of the problem I am dealing with: <a href="http://scicomp.stackexchange.com/questions/21501/is-it-worth-switching-to-timesteppers-provided-by-petsc-if-i-cant-write-down-a" rel="noreferrer" target="_blank">http://scicomp.stackexchange.com/questions/21501/is-it-worth-switching-to-timesteppers-provided-by-petsc-if-i-cant-write-down-a</a><br>
> > ><br>
> > > All your advice would be most helpful :)<br>
> > ><br>
> > > Kind regards,Brian<br>
> > ><br>
> ><br>
> ><br>
><br>
><br>
<br>
</div></div></blockquote></div><br></div>