Barry,<br><br>Could you give me an idea of what needs to be done?  I'm definitely interested in fixing this.<br><br>John<br><br><div class="gmail_quote">On Fri, Dec 16, 2011 at 3:03 PM, Barry Smith <span dir="ltr"><<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
   John,<br>
<br>
     I made a mistake in suggesting PCBJACOBI with cuda/cusp that is currently not workable with PETSc and requires some improvements to bjacobi.c to get it working.  We have no people here working on PETSc/CUDA-Cusp here nor very much knowledge about the subject. If you are a wizard at C and CUDA/CUSP we could step you through how to fix it, otherwise maybe someone else is willing to fix it?<br>


<span class="HOEnZb"><font color="#888888"><br>
   Barry<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
On Dec 16, 2011, at 1:38 PM, Satish Balay wrote:<br>
<br>
> On Wed, 14 Dec 2011, Satish Balay wrote:<br>
><br>
>> On Wed, 14 Dec 2011, John Fettig wrote:<br>
>><br>
>>> On Tue, Sep 20, 2011 at 12:58 PM, Barry Smith <<a href="mailto:bsmith@mcs.anl.gov">bsmith@mcs.anl.gov</a>> wrote:<br>
>>><br>
>>>><br>
>>>> On Sep 20, 2011, at 11:54 AM, Brad Aagaard wrote:<br>
>>>><br>
>>>>> I tried running a PyLith simulation using the sacusp preconditioner<br>
>>>> rather than ml. If I have the mat_type set to mpiaijcusp, I get an error<br>
>>>> message that sacusp preconditioner only works with CUSP matrices. I checked<br>
>>>> sacusp.c and the code checks to make sure the mat_type is seqaijcusp.<br>
>>>><br>
>>>>   Since the sacusp preconditioner is no MPI parallel it cannot deal with<br>
>>>> MPI matrices. ML is a truly (MPI) parallel multi-level preconditioner so it<br>
>>>> is not really interchangable with sacusp.<br>
>>>><br>
>>>>   You can use block Jacobi preconditioning -pc_type bjacobi -sub_pc_type<br>
>>>> sacusp   with sacusp on each block.<br>
>>><br>
>>><br>
>>> Hi Barry,<br>
>>><br>
>>> Sorry to dig up a very old thread, but I just tried your suggestion of<br>
>>> using block jacobi with sacusp on the blocks and I can't get it to work.<br>
>>> For example, I run src/ksp/ksp/examples/tutorials/ex2.c with:<br>
>>><br>
>>> mpirun -np 2 ./ex2 -ksp_type cg -pc_type bjacobi -sub_pc_type sacusp<br>
>>> -mat_type mpiaijcusp -vec_type mpicusp<br>
>>><br>
>>> and it still bombs on line 139 of <a href="http://sacusp.cu" target="_blank">sacusp.cu</a> because the vector type is not<br>
>>> VECSEQCUSP.  What am I doing wrong?<br>
>><br>
>><br>
>> Looks like VecDuplicate() -> VecDuplicate_MPICUSP() is returning a<br>
>> 'mpi' Vec instead of 'mpicusp' Vec. [This is a bug?] will check..<br>
><br>
> Pushed a fix for VecDuplicate_MPICUSP(). However this is not<br>
> sufficient to get bjacobi with cusp working.<br>
><br>
> Satish<br>
><br>
<br>
</div></div></blockquote></div><br>