<div dir="ltr">Hello,<div><br></div><div>  What version of CUDA is installed? OS?</div><div>  Can you send your example file?</div><div><br></div><div>Thanks,</div><div>  Steve</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 23, 2016 at 9:39 AM, Das, Rajeev <span dir="ltr"><<a href="mailto:rajeev.das@cnl.ca" target="_blank">rajeev.das@cnl.ca</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><p>UNRESTRICTED  /  ILLIMITÉE</p><div lang="EN-CA" link="blue" vlink="purple"><div><p class="MsoNormal">Hi:<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">The scenario that I considered involves a structured grid of size 32 x 32 x 32 (using Pflotran here).  When I used the bcgs solver and the preconditioner jacobi, there were no issues, but when the preconditioner sacusp was used I received the following error:<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">terminate called after throwing an instance of 'thrust::system::system_error'<u></u><u></u></p><p class="MsoNormal">  what():  function_attributes(): after cudaFuncGetAttributes: an illegal memory access was encountered.<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">I am attaching the screen shots of my debugger (idb) that will provide some detail regarding the source of this error. My Petsc configuration is <u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">--download-mpich=yes --with-cc=gcc --with-cxx=g++ --with-fc=gfortran --with-shared-libraries=0 --with-debugging=1 --with-valgrind=1 --download-parmetis=yes --download-metis=yes --download-hypre=yes --download-fblaslapack=yes --with-c2html=0 --with-cuda=1 --with-cusp=1 --with-thrust=1 --with-64-bit-indices=1<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">I have to use 64 bit indices, if I avoid it, I receive out of memory issues. Machines used are Intel Xeon E5-2620 and Tesla K20c card having the compute capability of 3.5. When I reduced the grid size to 16 x 16 x 16 I no more receive the above error with sacusp.<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Can you point me what could be the problem here.<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Regards,<span class="HOEnZb"><font color="#888888"><u></u><u></u></font></span></p><span class="HOEnZb"><font color="#888888"><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Rajeev Das.<u></u><u></u></p></font></span></div></div></blockquote></div><br></div>