<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body style="overflow-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;"><div><br></div>  You may also need <a href="https://petsc.org/release/manualpages/Mat/MatNullSpaceCreate/#matnullspacecreate">https://petsc.org/release/manualpages/Mat/MatNullSpaceCreate/#matnullspacecreate</a> and <a href="https://petsc.org/release/manualpages/Mat/MatSetNullSpace/">https://petsc.org/release/manualpages/Mat/MatSetNullSpace/</a><div><br></div><div><br><div><br><blockquote type="cite"><div>On Jul 19, 2023, at 6:26 AM, Matthew Knepley <knepley@gmail.com> wrote:</div><br class="Apple-interchange-newline"><div><div dir="ltr"><div dir="ltr">On Wed, Jul 19, 2023 at 6:23 AM Karthikeyan Chockalingam - STFC UKRI <<a href="mailto:karthikeyan.chockalingam@stfc.ac.uk">karthikeyan.chockalingam@stfc.ac.uk</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg8765277526387528095">





<div lang="EN-GB" style="overflow-wrap: break-word;">
<div class="m_8765277526387528095WordSection1"><p class="MsoNormal"><span style="font-size:11pt">I finally found the answer to my problem. I was not wrongly imposing the periodic boundary condition but rather was solving a problem (Poisson equation with PBC), which has an infinite
 family of solutions. I was recommended to add an artificial constraint or use a null-space-aware algebraic solver.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt">Are MUMPS and Hypre null-space-aware algebraic solvers? How can I turn that option on?</span></p></div></div></div></blockquote><div><br></div><div>MUMPS can do it with an option (it is in the documentation). For AMG you need to specify the coarse solver. I know this works with GAMG, you use</div><div><br></div><div>  -mg_coarse_pc_type svd</div><div><br></div><div>  Thanks,</div><div><br></div><div>     Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg8765277526387528095"><div lang="EN-GB" style="overflow-wrap: break-word;"><div class="m_8765277526387528095WordSection1"><p class="MsoNormal"><span style="font-size:11pt">Kind regards,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt">Karthik.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
<div id="m_8765277526387528095mail-editor-reference-message-container">
<div>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(181,196,223);padding:3pt 0cm 0cm"><p class="MsoNormal" style="margin-bottom:12pt"><b><span style="font-size: 12pt;">From:
</span></b><span style="font-size: 12pt;">Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>><br>
<b>Date: </b>Tuesday, 18 July 2023 at 17:22<br>
<b>To: </b>Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>><br>
<b>Cc: </b>Chockalingam, Karthikeyan (STFC,DL,HC) <<a href="mailto:karthikeyan.chockalingam@stfc.ac.uk" target="_blank">karthikeyan.chockalingam@stfc.ac.uk</a>>, <a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a> <<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>><br>
<b>Subject: </b>Re: [petsc-users] periodic boundary conditions<u></u><u></u></span></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt">Jed creates the LocalToGlobal that does this elimination in plexsfc.c<u></u><u></u></span></p>
<div><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt">  Thanks,<u></u><u></u></span></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt">     Matt<u></u><u></u></span></p>
</div>
</div><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">On Tue, Jul 18, 2023 at 12:07 PM Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>> wrote:<u></u><u></u></span></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div><p class="MsoNormal"><span style="font-size:11pt">   They are never really "eliminated" because extra copies in the global vector never exist. <u></u><u></u></span></p>
<div><p class="MsoNormal"><span style="font-size:11pt"><br>
<br>
<u></u><u></u></span></p>
<blockquote style="margin-top:5pt;margin-bottom:5pt">
<div><p class="MsoNormal"><span style="font-size:11pt">On Jul 18, 2023, at 12:03 PM, Karthikeyan Chockalingam - STFC UKRI <<a href="mailto:karthikeyan.chockalingam@stfc.ac.uk" target="_blank">karthikeyan.chockalingam@stfc.ac.uk</a>> wrote:<u></u><u></u></span></p>
</div><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Thank you, Barry. I am using the MPIAIJ format for a Finite Element application. So, I am trying to understand what is implemented in DMDA to eliminate those extra nodes.</span><u></u><u></u></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt">Best,</span><u></u><u></u></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt">Karthik.</span><u></u><u></u></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
<div id="m_8765277526387528095m_5778741566562819247mail-editor-reference-message-container">
<div>
<div style="border-right:none currentcolor;border-bottom:none currentcolor;border-left:none currentcolor;border-top:1pt solid currentcolor;padding:3pt 0cm 0cm"><p class="MsoNormal" style="margin-bottom:12pt"><b><span style="font-size:12pt">From: </span></b><span style="font-size:12pt">Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>><br>
<b>Date: </b>Tuesday, 18 July 2023 at 16:58<br>
<b>To: </b>Chockalingam, Karthikeyan (STFC,DL,HC) <<a href="mailto:karthikeyan.chockalingam@stfc.ac.uk" target="_blank">karthikeyan.chockalingam@stfc.ac.uk</a>><br>
<b>Cc: </b>Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>>, <a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a> <<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>><br>
<b>Subject: </b>Re: [petsc-users] periodic boundary conditions</span><u></u><u></u></p>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt">   If you are using DMDA with periodic boundary conditions for example only one "copy" of such nodes exists in the global vector (the vector the solvers see) so one does not need to eliminate extra ones </span><u></u><u></u></p>
</div>
<div>
<div><p class="MsoNormal" style="margin-bottom:12pt"><u></u> <u></u></p>
</div>
<blockquote style="margin-top:5pt;margin-bottom:5pt">
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">On Jul 18, 2023, at 11:51 AM, Karthikeyan Chockalingam - STFC UKRI via petsc-users <<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>> wrote:</span><u></u><u></u></p>
</div>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Yes, I clearly understand I need to eliminate one set of periodic nodes. I was hoping to use x = P x’ to eliminate one set. It is a kind of mapping.</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Sorry, I am not sure if it is the LocalToGlobal mapping you are referring to. Is there an example or reference to show how the LocalToGlobal mapping is being used to impose PBC?</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Best,</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Karthik.</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div id="m_8765277526387528095m_5778741566562819247mail-editor-reference-message-container">
<div>
<div style="border-right:none currentcolor;border-bottom:none currentcolor;border-left:none currentcolor;border-top:1pt solid currentcolor;padding:3pt 0cm 0cm"><p class="MsoNormal" style="margin-bottom:12pt"><b><span style="font-size:12pt">From: </span></b><span style="font-size:12pt">Matthew Knepley <<a href="mailto:knepley@gmail.com" target="_blank">knepley@gmail.com</a>><br>
<b>Date: </b>Tuesday, 18 July 2023 at 16:38<br>
<b>To: </b>Chockalingam, Karthikeyan (STFC,DL,HC) <<a href="mailto:karthikeyan.chockalingam@stfc.ac.uk" target="_blank">karthikeyan.chockalingam@stfc.ac.uk</a>><br>
<b>Cc: </b><a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a> <<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>><br>
<b>Subject: </b>Re: [petsc-users] periodic boundary conditions</span><u></u><u></u></p>
</div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">On Tue, Jul 18, 2023 at 11:18 AM Karthikeyan Chockalingam - STFC UKRI <</span><a href="mailto:karthikeyan.chockalingam@stfc.ac.uk" target="_blank"><span style="font-size:11pt">karthikeyan.chockalingam@stfc.ac.uk</span></a><span style="font-size:11pt">>
 wrote:</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<blockquote style="border-top:none currentcolor;border-right:none currentcolor;border-bottom:none currentcolor;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Thanks Matt.</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">The mesh is structured (rectilinear), so it is periodic in that sense.</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Can you please explain how I can impose it strongly?</span><u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</blockquote>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Strongly means make those variables equal in a pointwise sense. We do this in the</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">LocalToGlobal mapping, so one set is eliminated in the global problem.</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">  Thanks,</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">    Matt</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<blockquote style="border-top:none currentcolor;border-right:none currentcolor;border-bottom:none currentcolor;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">My initial thought was to come up with a relation between the periodic nodes:</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">x = P x’</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Say for 1-D problem with two elements</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">(1)-------------(2)------------(3)</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">P = [1 0, 0 1, 1 0]</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">x = [x1 x2 x3]</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">x’ = [x1 x2]</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">and solve</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">[P^T A P] x’ = P^T b</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">I don’t think [P^T A P] is deterministic.</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Kind regards,</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Karthik.</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div id="m_8765277526387528095m_5778741566562819247m_-6387936294348734192mail-editor-reference-message-container">
<div>
<div style="border-right:none currentcolor;border-bottom:none currentcolor;border-left:none currentcolor;border-top:1pt solid currentcolor;padding:3pt 0cm 0cm"><p class="MsoNormal" style="margin-bottom:12pt"><b><span style="font-size:12pt">From: </span></b><span style="font-size:12pt">Matthew Knepley <</span><a href="mailto:knepley@gmail.com" target="_blank"><span style="font-size:12pt">knepley@gmail.com</span></a><span style="font-size:12pt">><br>
<b>Date: </b>Tuesday, 18 July 2023 at 14:31<br>
<b>To: </b>Chockalingam, Karthikeyan (STFC,DL,HC) <</span><a href="mailto:karthikeyan.chockalingam@stfc.ac.uk" target="_blank"><span style="font-size:12pt">karthikeyan.chockalingam@stfc.ac.uk</span></a><span style="font-size:12pt">><br>
<b>Cc: </b></span><a href="mailto:petsc-users@mcs.anl.gov" target="_blank"><span style="font-size:12pt">petsc-users@mcs.anl.gov</span></a><span style="font-size:12pt"> <</span><a href="mailto:petsc-users@mcs.anl.gov" target="_blank"><span style="font-size:12pt">petsc-users@mcs.anl.gov</span></a><span style="font-size:12pt">><br>
<b>Subject: </b>Re: [petsc-users] periodic boundary conditions</span><u></u><u></u></p>
</div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">On Tue, Jul 18, 2023 at 9:02 AM Karthikeyan Chockalingam - STFC UKRI via petsc-users <</span><a href="mailto:petsc-users@mcs.anl.gov" target="_blank"><span style="font-size:11pt">petsc-users@mcs.anl.gov</span></a><span style="font-size:11pt">>
 wrote:</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<blockquote style="border-top:none currentcolor;border-right:none currentcolor;border-bottom:none currentcolor;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Hello,</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">This is exactly not a PETSc question. I am solving a Poisson equation using finite elements. I would like to impose PBC. I am thinking of using the Lagrange multiplier method to impose them as constraints.
 Or do you think I could take an alternative approach?</span><u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</blockquote>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">There are several options:</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">1) Just make a periodic mesh. This is what Plex does by default.</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">2) Impose the conditions strongly. This is what is done if you create the ZBox shape in Plex.</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">3) Impose the conditions weakly. This is what you are doing with Lagrange multipliers. You could</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">also do a Nitsche boundary condition for this.</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Since the constraint is so simple, I do not see an advantage to imposing it weakly.</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">  Thanks,</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">     Matt</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<blockquote style="border-top:none currentcolor;border-right:none currentcolor;border-bottom:none currentcolor;border-left:1pt solid rgb(204,204,204);padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt">
<div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Thank you for your help.</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Kind regards,</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">Karthik.</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">-- </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><b><span style="font-size:10.5pt;font-family:Arial,sans-serif;color:rgb(45,45,98)">Dr. Karthik Chockalingam</span></b><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:10.5pt;font-family:Arial,sans-serif;color:rgb(65,65,65)">High Performance Software Engineering Group</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:10.5pt;font-family:Arial,sans-serif;color:rgb(65,65,65)">Hartree Centre | Science and Technology Facilities Council</span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><a href="mailto:karthikeyan.chockalingam@stfc.ac.uk" target="_blank"><span style="font-size:10.5pt;font-family:Arial,sans-serif;color:rgb(5,99,193)">karthikeyan.chockalingam@stfc.ac.uk</span></a><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:12pt;font-family:"Times New Roman",serif"> </span><span style="font-size:10.5pt;font-family:Arial,sans-serif;color:rgb(65,65,65)"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div><p class="MsoNormal"><b><span style="font-size:10.5pt;font-family:Arial,sans-serif;color:rgb(65,65,65)"> </span></b><span style="font-size:12pt;font-family:"Times New Roman",serif;color:rgb(31,73,125)"><image001.png></span><u></u><u></u></p>
</div>
</div>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"><br clear="all">
</span><u></u><u></u></p>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">--</span><u></u><u></u></p>
</div>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank"><span style="font-size:11pt">https://www.cse.buffalo.edu/~knepley/</span></a><u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"><br clear="all">
</span><u></u><u></u></p>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">--</span><u></u><u></u></p>
</div>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener</span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt"> </span><u></u><u></u></p>
</div>
</div>
</div>
<div>
<div>
<div><p class="MsoNormal"><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank"><span style="font-size:11pt">https://www.cse.buffalo.edu/~knepley/</span></a><u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div>
</blockquote>
</div><p class="MsoNormal"><span style="font-size:11pt"><br clear="all">
<u></u><u></u></span></p>
<div><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div><p class="MsoNormal"><span class="m_8765277526387528095gmailsignatureprefix"><span style="font-size:11pt">--
</span></span><span style="font-size:11pt"><u></u><u></u></span></p>
<div>
<div>
<div>
<div>
<div>
<div>
<div><p class="MsoNormal"><span style="font-size:11pt">What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener<u></u><u></u></span></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div>
<div><p class="MsoNormal"><span style="font-size:11pt"><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><u></u><u></u></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>

</div></blockquote></div><br clear="all"><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>-- Norbert Wiener</div><div><br></div><div><a href="http://www.cse.buffalo.edu/~knepley/" target="_blank">https://www.cse.buffalo.edu/~knepley/</a><br></div></div></div></div></div></div></div></div>
</div></blockquote></div><br></div></body></html>