<div dir="ltr"><div>Previously, I had noticed strange behaviour when running the GPU code 
with the threadComm package. It might be worth trying to disable that 
code in the build to see if the problem persists?<br></div>-Paul<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Jan 14, 2014 at 9:19 AM, Karl Rupp <span dir="ltr"><<a href="mailto:rupp@mcs.anl.gov" target="_blank">rupp@mcs.anl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Pierre,<div class="im"><br>
<br>
>> I could reproduce the problem and also get some uninitialized variable<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
warnings in Valgrind. The debug version detects these errors, hence<br>
you only see the errors in the debug build. For the optimized build,<br>
chances are good that the computed values are either wrong or may<br>
become wrong in other environments. I'll see what I can do when I'm<br>
again at GPU machine tomorrow (parallel GPU debugging via SSH is not<br>
great...)<br>
</blockquote>
Sorry, I mean:<br>
<br>
Parallel calculation on CPU or GPU run well with PETSc non optimized library<br>
Parallel calculation on GPU crashes with PETSc optimized library (on CPU<br>
it is OK)<br>
</blockquote>
<br></div>
The fact that it happens to run in one mode out of {debug, optimized} but not in the other is at most a lucky coincidence, but it still means that this is a bug we need to solve :-)<div class="im"><br>
<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I could add that the "mpirun -np 1 ex19" runs well for all builds on CPU<br>
and GPU.<br>
</blockquote>
<br></div>
I see valgrind warnings in the vector scatter routines, which is likely the reason why it doesn't work with multiple MPI ranks.<br>
<br>
Best regards,<br>
Karli<br>
<br>
</blockquote></div><br></div>