On Mon, Jan 17, 2011 at 10:49 PM,  <span dir="ltr"><<a href="mailto:li.luo@siat.ac.cn">li.luo@siat.ac.cn</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">Hi, Barry.<br>
<br>
I have tested several example, with the same problem.<br>
The attachments are result for ex2 in \ksp\examples\tutorials,<br>
4GPU-4CPU, different grid size: 128*128, 256*256; with or without CUDA.<br>
You may see the view of KSP, summary log, and database options line.<br>
The result is,<br>
for 128*128, both with an without CUDA, converge.<br>
for 256*256, only without CUDA converge.<br></div></blockquote><div><br></div><div>This has the EXACT PROBLEM I mailed about last time. Look at your</div><div>file</div><div><br></div><div>  ksp_poisson2d_256_4_with_cuda_view.txt</div>
<div><br></div><div>It is only 6K. All the others are 14K. It has no information from ksp_view.</div><div><br></div><div>   Matt</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">
</div><div class="im">Thanks for your help<br>
<br>
Regards,<br>
Li Luo<br>
<br>
> -----原始邮件-----<br>
> 发件人: "Barry Smith" <<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>><br>
> 发送时间: 2011年1月18日 星期二<br>
> 收件人: petsc-maint <<a href="mailto:petsc-maint@mcs.anl.gov">petsc-maint@mcs.anl.gov</a>>, <a href="mailto:li.luo@siat.ac.cn">li.luo@siat.ac.cn</a>, "For users of the development version of PETSc" <<a href="mailto:petsc-dev@mcs.anl.gov">petsc-dev@mcs.anl.gov</a>><br>

> 抄送:<br>
> 主题: Re: [petsc-maint #61515] data size of PETSc-dev GPU computing<br>
><br>
><br>
</div><div><div></div><div class="h5">>   Hmm, could be a bug, could be the algorithm. Run with -ksp_view and send the output<br>
><br>
>   What problem are you solving, is it a PETSc example?<br>
><br>
>   Barry<br>
><br>
> On Jan 17, 2011, at 8:31 PM, <a href="mailto:li.luo@siat.ac.cn">li.luo@siat.ac.cn</a> wrote:<br>
><br>
> > Hi,<br>
> ><br>
> ><br>
> > I met a problem when testing some examples on PETSc-dev for GPU computing,<br>
> > that is, if one proc pair(1GPU-1CPU) is used, the grid size can be enlarged to even 2048*2048, the memory limitation;<br>
> > however, if more than one proc pairs are use, for example 4GPU-4CPU, the grid size is limited to about 200*200, if larger, the ksp solver would not converge. The same problem happens to 8GPU-8CPU limited by 500*500 or other size.<br>

> ><br>
> > I wonder whether you have the same problem? Any error happens to type MPICUDA?<br>
> ><br>
> > Regards,<br>
> > Li Luo<br>
> ><br>
> ><br>
> >>> # Machine type:<br>
> >>> CPU:  Intel(R) Xeon(R) CPU E5520<br>
> >>> GPU: Tesla T10<br>
> >>> CUDA Driver Version:                           3.20<br>
> >>> CUDA Capability Major/Minor version number:    1.3<br>
> >>><br>
> >>> # OS Version:<br>
> >>> Linux console 2.6.18-128.el5 #1 SMP Wed Dec 17 11:41:38 EST 2008 x86_64 x86_64 x86_64 GNU/Linux<br>
> >>><br>
> >>> # PETSc Version:<br>
> >>> #define PETSC_VERSION_RELEASE    0<br>
> >>> #define PETSC_VERSION_MAJOR      3<br>
> >>> #define PETSC_VERSION_MINOR      1<br>
> >>> #define PETSC_VERSION_SUBMINOR   0<br>
> >>> #define PETSC_VERSION_PATCH      6<br>
> >>> #define PETSC_VERSION_DATE       "Mar, 25, 2010"<br>
> >>> #define PETSC_VERSION_PATCH_DATE "Thu Dec  9 00:02:47 CST 2010"<br>
> >>><br>
> >>><br>
> >>> # MPI implementation:<br>
> >>> ictce3.2/impi/<a href="http://3.2.0.011/" target="_blank">3.2.0.011/</a><br>
> >>><br>
> >>> # Compiler:<br>
> >>><br>
> >>><br>
> >>> # Probable PETSc component:<br>
> >>> run with GPU<br>
> >>> # Configure<br>
> >>> ./config/configure.py  --download-f-blas-lapack=1 --with-mpi-dir=/bwfs/software/mpich2-1.2.1p1 --with-shared-libraries=0 --with-debugging=no --with-cuda-dir=/bwfs/home/liluo/cuda3.2_64 --with-thrust-dir=/bwfs/home/liluo/cuda3.2_64/include/thrust --with-cusp-dir=/bwfs/home/liluo/cuda3.2_64/include/cusp-library<br>

> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
><br>
<br>
<br>
<br>
<br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>What most experimenters take for granted before they begin their experiments is infinitely more interesting than any results to which their experiments lead.<br>
-- Norbert Wiener<br>