<div dir="ltr"><div><div><div><div><div><div>Hi Karl,<br><br></div>I now checked the error flags of all petsc functions in all functions. I also recompiled petsc with debug. Here's the report:<br><br></div>Case 1) Still works. All good.<br>
<br></div>Case 2) This is the case with ComputeResidual using VecGetArrays but with DMSetVecType(da, VECVIENNACL) and DMSetMatType(da, MATAIJVIENNACL). The flags don't show any errors. <b>The programs proceeds smoothly but the solution is wrong even though SNES is converging.</b><br>
<br></div>Case 3) This is the case with ComputeResidualViennaCL using VecViennaCLGetArrays with and without DMSetVecType(da, VECVIENNACL) and DMSetMatType(da, MATAIJVIENNACL). In both cases I get the following error:<br><br>
[0]PETSC ERROR: TSComputeIFunction() line 676 in /home/mc/Downloads/petsc/src/ts/interface/ts.c<br>[0]PETSC ERROR: SNESTSFormFunction_Theta() line 284 in /home/mc/Downloads/petsc/src/ts/impls/implicit/theta/theta.c<br>[0]PETSC ERROR: SNESTSFormFunction() line 3499 in /home/mc/Downloads/petsc/src/ts/interface/ts.c<br>
[0]PETSC ERROR: SNESComputeFunction() line 2089 in /home/mc/Downloads/petsc/src/snes/interface/snes.c<br>[0]PETSC ERROR: SNESSolve_NEWTONLS() line 175 in /home/mc/Downloads/petsc/src/snes/impls/ls/ls.c<br>[0]PETSC ERROR: SNESSolve() line 3812 in /home/mc/Downloads/petsc/src/snes/interface/snes.c<br>
[0]PETSC ERROR: TSStep_Theta() line 183 in /home/mc/Downloads/petsc/src/ts/impls/implicit/theta/theta.c<br>[0]PETSC ERROR: TSStep() line 2625 in /home/mc/Downloads/petsc/src/ts/interface/ts.c<br>[0]PETSC ERROR: TSSolve() line 2741 in /home/mc/Downloads/petsc/src/ts/interface/ts.c<br>
[0]PETSC ERROR: main() line 83 in /home/mc/PhD/opencl_tests/petsc_opencl/petsc_opencl.cpp<br>--------------------------------------------------------------------------<br>MPI_ABORT was invoked on rank 0 in communicator MPI_COMM_WORLD<br>
with errorcode -473550369.<br><br>NOTE: invoking MPI_ABORT causes Open MPI to kill all MPI processes.<br>You may or may not see output from other processes, depending on<br>exactly when Open MPI kills them.<br>--------------------------------------------------------------------------<br>
<br></div>The error occured at VecViennaCLGetArrayRead/Write in my ComputeResidualViennaCL function. Note that with the petsc debug mode, the code crashes with the above error even if I don't catch the error codes. Might be because of some VecViennaCLGetArray calls inside petsc.<br>
<br></div>Cheers,<br>Mani<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sat, Jan 25, 2014 at 2:48 AM, Karl Rupp <span dir="ltr"><<a href="mailto:rupp@mcs.anl.gov" target="_blank">rupp@mcs.anl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Mani,<br>
<br>
please check the return value of *all* function calls from PETSc, e.g.<br>
 ierr = DMCreateGlobalVector(da, &soln);CHKERRQ(ierr);<br>
instead of just<br>
 DMCreateGlobalVector(da, &soln);<br>
Most likely one of the routines threw an error, but your code just kept going, producing wrong results.<br>
<br>
Best regards,<br>
Karli<div class="HOEnZb"><div class="h5"><br>
<br>
<br>
On 01/25/2014 05:35 AM, Mani Chandra wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi Everyone,<br>
<br>
I'm trying to use TS with ViennaCL vecs/mats and residual evaluation on<br>
device and have encountered some problems. I have attached a small test<br>
code that illustrates the issue.<br>
<br>
The code simply advects a blob diagonally using TS. I have written the<br>
residual evaluation function using 1) the usual Petsc vectors<br>
(VecGetArray) and 2) using ViennaCL vectors (VecViennaCLGetArrayRead/<u></u>Write).<br>
<br>
Run the code using the following:<br>
./petsc_opencl -ts_monitor -snes_monitor -ts_max_steps 1000 -ts_type<br>
theta -ts_dt 10 -snes_rtol 1e-4 -ts_final_time 1000<br>
-ts_monitor_draw_solution<br>
<br>
Case 1) No ViennaCL anywhere. I simply use the usual Petsc vectors and<br>
set the residual evaluation function as ComputeResidual (line no. 55).<br>
This case works and the blob is indeed advected as can be seen. (I<br>
haven't bothered with the boundaries. The simulation just stops before<br>
the blob hits the boundaries).<br>
<br>
Case 2) We again use the ComputeResidual but now enable ViennaCL vecs<br>
and mats (line nos. 48, 49). This case does NOT work. The SNES monitor<br>
shows convergence but the solution makes no sense.<br>
<br>
Case 3) We now use ComputeResidualViennaCL (line no. 56). This does NOT<br>
work either with or without enabling the ViennaCL vecs (line nos. 48, 49).<br>
<br>
Cheers,<br>
Mani<br>
</blockquote>
<br>
</div></div></blockquote></div><br></div>