<div>I'm having a similiar problem with ex47cu</div><div><br></div><div>with petsc 3.2-p7</div><div>š š š šcuda 4.0</div><div>š š š šthrust 1.4</div><div>š š š šcusp 0.2</div><div><br></div><div>Unfortunately, it's pretty random.</div>
<div>sometimes the executable runs fine.š</div><div>Other times it will crash with floating point exceptions as below.š</div><div>(The function evaluation willšreturns inf's and nan's when using -da_vec_type mpicusp)š</div>
<div><br></div><div>the -arch=sm_13 flag is being used.</div><div><br></div><div>My card has compute capability 2.0 would using -arch=sm_20 possibly help ?š</div><div>also, is there a particular version of cuda/thrust/cusp that should be used ?š</div>
<div><br></div><div><br></div><div>Thanks,</div><div>David</div><br><br><div class="gmail_quote">On Mon, Apr 25, 2011 at 8:46 AM, Satish Balay <span dir="ltr"><<a href="mailto:balay@mcs.anl.gov">balay@mcs.anl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">That would be wierd. Currently configure defaults to sm_10 for single<br>
precision, and sm_13 for double precision. [I've verified this again]<br>
<br>
can you send configure.log [without the cuda-arch option] - to<br>
petsc-maint?<br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
Satish<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
On Mon, 25 Apr 2011, å×ÇÅÎÉÊ ëÏÚÌÏ× wrote:<br>
<br>
> Yes, this was the problem. Now it works.<br>
><br>
> Thank you.<br>
><br>
> 2011/4/25 Victor Minden <<a href="mailto:victorminden@gmail.com">victorminden@gmail.com</a>>:<br>
> > Eugene,<br>
> > Based off of<br>
> > šConfigure options --prefix=/home/kukushkinav<br>
> > --with-blas-lapack-dir=/opt/intel/composerxe-2011.0.084/mkl<br>
> > --with-mpi-dir=/opt/intel/impi/<a href="http://4.0.1.007/intel64/bin" target="_blank">4.0.1.007/intel64/bin</a>š--with-cuda=1<br>
> > --with-cusp=1 --with-thrust=1<br>
> > --with-thrust-dir=/home/kukushkinav/include<br>
> > --with-cusp-dir=/home/kukushkinav/include<br>
> > It looks like maybe you're not setting the configure flag<br>
> > --with-cuda-arch=XXX. šWithout this, PETSc uses the nvcc default, which when<br>
> > I last looked was sm_10. šThe problem with this is that sm_10 doesn't<br>
> > support double-precision. šMaybe this is your problem? šFor example, I use<br>
> > -with-cuda-arch=sm_13, which corresponds to NVIDIA compute capability 1.3<br>
> > Cheers,<br>
> > Victor<br>
> > ---<br>
> > Victor L. Minden<br>
> ><br>
> > Tufts University<br>
> > School of Engineering<br>
> > Class of 2012<br>
> ><br>
> ><br>
> > On Fri, Apr 22, 2011 at 12:22 PM, å×ÇÅÎÉÊ ëÏÚÌÏ× <<a href="mailto:neoveneficus@gmail.com">neoveneficus@gmail.com</a>><br>
> > wrote:<br>
> >><br>
> >> Hello,<br>
> >><br>
> >> I am interesting in using PETSc for iterative solving sparse linear<br>
> >> system on multi-GPU systems.<br>
> >><br>
> >> First of all, I compiled PETSc-dev and tried to run some examples,<br>
> >> which will run on GPU.<br>
> >><br>
> >> I found src/snes/examples/tutorials/<a href="http://ex47cu.cu" target="_blank">ex47cu.cu</a>. It was compiled and<br>
> >> executed.<br>
> >><br>
> >> Out of original program src/snes/examples/tutorials/<a href="http://ex47cu.cu" target="_blank">ex47cu.cu</a>:<br>
> >><br>
> >> [0]PETSC ERROR: --------------------- Error Message<br>
> >> ------------------------------------<br>
> >> [0]PETSC ERROR: Floating point exception!<br>
> >> [0]PETSC ERROR: User provided compute function generated a Not-a-Number!<br>
> >> [0]PETSC ERROR:<br>
> >> ------------------------------------------------------------------------<br>
> >> [0]PETSC ERROR: Petsc Development HG revision:<br>
> >> d3e10315d68b1dd5481adb2889c7d354880da362 šHG Date: Wed Apr 20 21:03:56<br>
> >> 2011 -0500<br>
> >> [0]PETSC ERROR: See docs/changes/index.html for recent updates.<br>
> >> [0]PETSC ERROR: See docs/faq.html for hints about trouble shooting.<br>
> >> [0]PETSC ERROR: See docs/index.html for manual pages.<br>
> >> [0]PETSC ERROR:<br>
> >> ------------------------------------------------------------------------<br>
> >> [0]PETSC ERROR: ex47cu on a arch-linu named cn03 by kukushkinav Fri<br>
> >> Apr 22 18:33:32 2011<br>
> >> [0]PETSC ERROR: Libraries linked from /home/kukushkinav/lib<br>
> >> [0]PETSC ERROR: Configure run at Thu Apr 21 19:18:22 2011<br>
> >> [0]PETSC ERROR: Configure options --prefix=/home/kukushkinav<br>
> >> --with-blas-lapack-dir=/opt/intel/composerxe-2011.0.084/mkl<br>
> >> --with-mpi-dir=/opt/intel/impi/<a href="http://4.0.1.007/intel64/bin" target="_blank">4.0.1.007/intel64/bin</a> --with-cuda=1<br>
> >> --with-cusp=1 --with-thrust=1<br>
> >> --with-thrust-dir=/home/kukushkinav/include<br>
> >> --with-cusp-dir=/home/kukushkinav/include<br>
> >> [0]PETSC ERROR:<br>
> >> ------------------------------------------------------------------------<br>
> >> [0]PETSC ERROR: SNESSolve_LS() line 167 in src/snes/impls/ls/ls.c<br>
> >> [0]PETSC ERROR: SNESSolve() line 2407 in src/snes/interface/snes.c<br>
> >> [0]PETSC ERROR: main() line 38 in src/snes/examples/tutorials/<a href="http://ex47cu.cu" target="_blank">ex47cu.cu</a><br>
> >> application called MPI_Abort(MPI_COMM_WORLD, 72) - process 0<br>
> >><br>
> >> Then I tried to find the place in source with the problem, I changed<br>
> >> the function in struct ApplyStencil to<br>
> >><br>
> >> void operator()(Tuple t) { thrust::get<0>(t) = 1; }<br>
> >><br>
> >> Result:<br>
> >> [0]PETSC ERROR: --------------------- Error Message<br>
> >> ------------------------------------<br>
> >> [0]PETSC ERROR: Floating point exception!<br>
> >> [0]PETSC ERROR: Infinite or not-a-number generated in mdot, entry 0!<br>
> >> [0]PETSC ERROR:<br>
> >> ------------------------------------------------------------------------<br>
> >> [0]PETSC ERROR: Petsc Development HG revision:<br>
> >> d3e10315d68b1dd5481adb2889c7d354880da362 šHG Date: Wed Apr 20 21:03:56<br>
> >> 2011 -0500<br>
> >> [0]PETSC ERROR: See docs/changes/index.html for recent updates.<br>
> >> [0]PETSC ERROR: See docs/faq.html for hints about trouble shooting.<br>
> >> [0]PETSC ERROR: See docs/index.html for manual pages.<br>
> >> [0]PETSC ERROR:<br>
> >> ------------------------------------------------------------------------<br>
> >> [0]PETSC ERROR: ex47cu on a arch-linu named cn11 by kukushkinav Fri<br>
> >> Apr 22 18:58:04 2011<br>
> >> [0]PETSC ERROR: Libraries linked from /home/kukushkinav/lib<br>
> >> [0]PETSC ERROR: Configure run at Thu Apr 21 19:18:22 2011<br>
> >> [0]PETSC ERROR: Configure options --prefix=/home/kukushkinav<br>
> >> --with-blas-lapack-dir=/opt/intel/composerxe-2011.0.084/mkl<br>
> >> --with-mpi-dir=/opt/intel/impi/<a href="http://4.0.1.007/intel64/bin" target="_blank">4.0.1.007/intel64/bin</a> --with-cuda=1<br>
> >> --with-cusp=1 --with-thrust=1<br>
> >> --with-thrust-dir=/home/kukushkinav/include<br>
> >> --with-cusp-dir=/home/kukushkinav/include<br>
> >> [0]PETSC ERROR:<br>
> >> ------------------------------------------------------------------------<br>
> >> [0]PETSC ERROR: VecMDot() line 1146 in src/vec/vec/interface/rvector.c<br>
> >> [0]PETSC ERROR: KSPGMRESClassicalGramSchmidtOrthogonalization() line<br>
> >> 66 in src/ksp/ksp/impls/gmres/borthog2.c<br>
> >> [0]PETSC ERROR: GMREScycle() line 161 in src/ksp/ksp/impls/gmres/gmres.c<br>
> >> [0]PETSC ERROR: KSPSolve_GMRES() line 244 in<br>
> >> src/ksp/ksp/impls/gmres/gmres.c<br>
> >> [0]PETSC ERROR: KSPSolve() line 426 in src/ksp/ksp/interface/itfunc.c<br>
> >> [0]PETSC ERROR: SNES_KSPSolve() line 3107 in src/snes/interface/snes.c<br>
> >> [0]PETSC ERROR: SNESSolve_LS() line 190 in src/snes/impls/ls/ls.c<br>
> >> [0]PETSC ERROR: SNESSolve() line 2407 in src/snes/interface/snes.có<br>
> >> Õ×ÁÖÅÎÉÅÍ,<br>
> >> å×ÇÅÎÉÊ<br>
> >> [0]PETSC ERROR: main() line 38 in src/snes/examples/tutorials/<a href="http://ex47cu.cu" target="_blank">ex47cu.cu</a><br>
> >><br>
> >> RedHat 5.5, Cuda 3.2<br>
> >><br>
> >> Question1: Is it my problem or a bug of the algorithm?<br>
> >><br>
> >> Question2: Where can I find simple doc or example, which describe how<br>
> >> to solve sparse linear systems on multi-GPU systems using PETSc?<br>
> >><br>
> >><br>
> >> --<br>
> >> Best regards,<br>
> >> Eugene<br>
> ><br>
> ><br>
><br>
><br>
><br>
><br>
</div></div></blockquote></div><br>