<div dir="ltr">In reading the error message I see that I did not clone A, to get P, so P was the wrong type with a device.<div><br></div><div><div>Thanks,</div><div>Mark</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 31, 2023 at 2:24 PM Mark Adams <<a href="mailto:mfadams@lbl.gov">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Correction, I get the same message with -mat_type aijcusparse.<div><br></div><div>Thanks,</div><div>Mark</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 31, 2023 at 9:29 AM Mark Adams <<a href="mailto:mfadams@lbl.gov" target="_blank">mfadams@lbl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I am getting this error.<div>This is in GAMG/HEM setup. PtAP for the coarse grid construction works, but I call this in a graph routine (/global/u2/m/madams/petsc/src/mat/coarsen/impls/hem/hem.c:1043).</div><div><br></div><div>Also, this PtAP does not need to be on the GPU anyway because P is extremely sparse ... can I pin, say P, to the CPU to keep this all on the host?</div><div><br></div><div>Thanks,</div><div>Mark</div><div><br><div><br></div><div>[0]PETSC ERROR: --------------------- Error Message --------------------------------------------------------------<br>[0]PETSC ERROR: Petsc has generated inconsistent data<br>[0]PETSC ERROR: Unspecified symbolic phase for product AB with A mpiaijkokkos, B mpiaij. Call MatProductSetFromOptions() first<br>[0]PETSC ERROR: WARNING! There are unused option(s) set! Could be the program crashed before usage or a spelling mistake, etc!<br>[0]PETSC ERROR:   Option left: name:-ksp_converged_reason (no value) source: command line<br>[0]PETSC ERROR:   Option left: name:-ksp_viewxx (no value) source: command line<br>[0]PETSC ERROR:   Option left: name:-log_view_gpu_timexxx (no value) source: command line<br>[0]PETSC ERROR:   Option left: name:-options_left (no value) source: command line<br>[0]PETSC ERROR:   Option left: name:-pc_gamg_use_aggressive_square_graph value: true source: command line<br>[0]PETSC ERROR:   Option left: name:-pc_gamg_use_minimum_degree_ordering value: false source: command line<br>[0]PETSC ERROR: See <a href="https://petsc.org/release/faq/" target="_blank">https://petsc.org/release/faq/</a> for trouble shooting.<br>[0]PETSC ERROR: Petsc Development GIT revision: v3.20.0-168-ga7898f52c39  GIT Date: 2023-10-28 10:07:38 -0500<br>[0]PETSC ERROR: /global/u2/m/madams/petsc/src/snes/tests/./ex13 on a arch-perlmutter-dbg-gcc-kokkos-cuda named nid001680 by madams Tue Oct 31 06:21:25 2023<br>[0]PETSC ERROR: Configure options --CFLAGS="   -g" --CXXFLAGS=" -g" --CUDAFLAGS="-g -Xcompiler -rdynamic" --with-cc=cc --with-cxx=CC --with-fc=ftn --LDFLAGS=-lmpifort_gnu_91 --FFLAGS="   -g " --COPTFLAGS="   -O0" --CXXOPTFLAGS=" -O0" --FOPTFLAGS="   -O0" --download-triangle=1 --with-debugging=1 --with-cuda=1 --with-cuda-arch=80 --with-mpiexec="srun -G4" --with-batch=0 --download-kokkos --download-kokkos-kernels --with-kokkos-kernels-tpl=0 --with-make-np=8 PETSC_ARCH=arch-perlmutter-dbg-gcc-kokkos-cuda<br>[0]PETSC ERROR: #1 MatProductSymbolic() at /global/u2/m/madams/petsc/src/mat/interface/matproduct.c:807<br>[0]PETSC ERROR: #2 MatProductSymbolic_PtAP_Unsafe() at /global/u2/m/madams/petsc/src/mat/interface/matproduct.c:73<br>[0]PETSC ERROR: #3 MatProductSymbolic_Unsafe() at /global/u2/m/madams/petsc/src/mat/interface/matproduct.c:185<br>[0]PETSC ERROR: #4 MatProductSymbolic() at /global/u2/m/madams/petsc/src/mat/interface/matproduct.c:795<br>[0]PETSC ERROR: #5 MatPtAP() at /global/u2/m/madams/petsc/src/mat/interface/matrix.c:9938<br>[0]PETSC ERROR: #6 MatCoarsenApply_HEM_private() at /global/u2/m/madams/petsc/src/mat/coarsen/impls/hem/hem.c:1043<br></div></div></div>
</blockquote></div>
</blockquote></div>