<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Am Mi., 11. Mai 2022 um 21:28 Uhr schrieb Barry Smith <<a href="mailto:bsmith@petsc.dev">bsmith@petsc.dev</a>>:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><br></div>  It is unlikely that the true number of colors is much less than 230 so I don't think you can save by reducing the number of colors more. <div><br></div><div>  Are you using IS_COLORING_LOCAL it eliminates much parallel communication so you would definitely benefit by using this, depending on how your FormFunction is written you may need to refactor your code slightly. </div><div><br></div><div>  There is also a hidden parameter which is a tradeoff of memory usage vs speed. If memory is not an issue for you then you could change this parameter. It is computed in MatFDColoringCreate_MPIXAIJ() called bcols You can just hardware bcols to iscoloring->n This may help a bit.</div><div><br></div><div>   The only way to drastically improve the time after the above is to reorganize the PETSc code and your code to evaluate multiple function evaluations "at the same time" but this is a major project (it has to be done for GPUs).</div><div><div><br></div><div>  <span style="font-family:Calibri,Helvetica,sans-serif,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols;font-size:12pt">MATCOLORINGMIS doesn't exist, it is a typo in the docs.</span></div></div></div></blockquote><div><a href="https://gitlab.com/petsc/petsc/-/merge_requests/5249">https://gitlab.com/petsc/petsc/-/merge_requests/5249</a> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><div><font size="3" face="Calibri, Helvetica, sans-serif, EmojiFont, Apple Color Emoji, Segoe UI Emoji, NotoColorEmoji, Segoe UI Symbol, Android Emoji, EmojiSymbols"><br></font></div><div><font size="3" face="Calibri, Helvetica, sans-serif, EmojiFont, Apple Color Emoji, Segoe UI Emoji, NotoColorEmoji, Segoe UI Symbol, Android Emoji, EmojiSymbols">  Barry</font></div><div><font size="3" face="Calibri, Helvetica, sans-serif, EmojiFont, Apple Color Emoji, Segoe UI Emoji, NotoColorEmoji, Segoe UI Symbol, Android Emoji, EmojiSymbols"><br></font><div><br><blockquote type="cite"><div>On May 11, 2022, at 2:25 PM, Jorti, Zakariae <<a href="mailto:zjorti@lanl.gov" target="_blank">zjorti@lanl.gov</a>> wrote:</div><br><div><div id="gmail-m_9014620737622610510divtagdefaultwrapper" dir="ltr" style="font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;font-size:12pt;font-family:Calibri,Helvetica,sans-serif"><div id="gmail-m_9014620737622610510divtagdefaultwrapper" dir="ltr" style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols"><div style="margin-top:0px;margin-bottom:0px">Hello,<br><br>I have used the -mat_coloring_view and -mat_fd_coloring_view flags as you suggested and it turns out that the coloring used was<span> </span><span>MATCOLORINGSL.<span> </span><br></span></div><div style="margin-top:0px;margin-bottom:0px"><span>I have also tried other methods and obtained the following numbers of function evaluations per Jacobian building:  <span> </span></span><br>- MATCOLORINGJP : 593<br><span>- MATCOLORINGID : 327</span></div><div style="margin-top:0px;margin-bottom:0px"><span>- MATCOLORINGSL : 321</span></div><div style="margin-top:0px;margin-bottom:0px"><span>- MATCOLORINGGREEDY : 316</span></div><div style="margin-top:0px;margin-bottom:0px"><span>- MATCOLORINGLF :<span> </span></span>230<br><br><span>Is there any parameter/trick we can try to further cut down the number of function evaluations? And also how could we use MATCOLORINGMIS as this latter does not appear in the MatColoringType options?<br>Many thanks.</span><br><br>Zakariae<br></div></div><hr style="display:inline-block;width:1075.05px"><div id="gmail-m_9014620737622610510divRplyFwdMsg" dir="ltr"><font style="font-size:11pt" face="Calibri, sans-serif"><b>From:</b><span> </span>Tang, Qi <<a href="mailto:tangqi@msu.edu" target="_blank">tangqi@msu.edu</a>><br><b>Sent:</b><span> </span>Tuesday, May 10, 2022 10:51:07 AM<br><b>To:</b><span> </span>Barry Smith;<span> </span><a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a><br><b>Cc:</b><span> </span>Jorti, Zakariae; Tang, Xianzhu<br><b>Subject:</b><span> </span>[EXTERNAL] Re: [petsc-users] MatColoring</font><div> </div></div><div>We are using SNES + TS + dmstag. The current bottleneck is the number of residual evaluation (more than 300 per Jacobian building using the default coloring from dmstag). We talked to Patrick and we are not sure how to improve further.<div><br></div><div>So it looks like we should play with mat_coloring_type and see if others give us better performance.</div><div><br></div><div>If there is anything else we can play with, please also let us know. We also lag Jacobian and only build once every three Newton iterations, which works well. Thanks,</div><div><br></div><div>Qi<br><div><br></div><div><br><div><blockquote type="cite"><div>On May 10, 2022, at 10:35 AM, Barry Smith <<a href="mailto:bsmith@petsc.dev" target="_blank">bsmith@petsc.dev</a>> wrote:</div><br><div><div style="overflow-wrap: break-word;"><div><br></div>  This depends to some degree on how you are accessing applying the Jacobian construction process. <div><br></div><div>   If you are using SNES or TS then the SNES object handles most of the work of organizing the PETSc objects needed to compute the Jacobian and you can control the choices via the options database. </div><div><br></div><div>   With SNES/TS using a DM you can skip calling SNESSetJacobian() and simply use the option -snes_fd_color to have SNES compute the Jacobian for you. By default, the coloring is obtained from the DM (which is generally the best available coloring), you can have it use a coloring computed directly from the matrix structure with the options -snes_fd_color_use_mat -mat_coloring_type  jp power sl lf ld or greedy (see MatColoringType, MatColoringSetFromOptions) Use  -mat_fd_coloring_view to get information on the computation of the Jacobian from the coloring. Use  -mat_coloring_view to get information on the coloring used. (see MatFDColoringSetFromOptions)</div><div><br></div><div>  If you are using SNES/TS but not using a DM you need to compute the nonzero structure of the matrix yourself into J and call SNESSetJacobian(snes,J,J,SNESComputeJacobianDefaultColor,matfdcoloring); you need to create the matfdcoloring object with MatFDColoringCreate() using an iscoloring you obtained with MatColoringCreate() etc.  The same command line arguments as above allow you to control the coloring algorithm used and to view them etc.</div><div><br></div><div>  Barry</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br><div><br><blockquote type="cite"><div>On May 10, 2022, at 11:40 AM, Jorti, Zakariae via petsc-users <<a href="mailto:petsc-users@mcs.anl.gov" target="_blank">petsc-users@mcs.anl.gov</a>> wrote:</div><br><div><div id="gmail-m_9014620737622610510divtagdefaultwrapper" dir="ltr" style="font-style:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;font-size:12pt;font-family:Calibri,Helvetica,sans-serif,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols"><div style="margin-top:0px;margin-bottom:0px">Hi,<span> </span><br><br>I am solving a non-linear problem and using a finite difference approximation with coloring to compute the Jacobian matrix.<br><br></div><div>There are several coloring algorithms available in PETSc as indicated here:<br><a href="https://urldefense.com/v3/__https://petsc.org/release/docs/manualpages/Mat/MatColoring.html__;!!HXCxUKc!1czn7o25s7aYCp0mPqVxWzr-S-Fc0qBskSUMuqiRAf5CiUQoJAYOwuyAak2yJhKKkULePn_T7-fyd0U$" target="_blank">https://petsc.org/release/docs/manualpages/Mat/MatColoring.html</a><br><br>And I was wondering how to switch from one to another in the Jacobian setup routine and also how to check which coloring algorithm I am currently using.<br></div><br><div style="margin-top:0px;margin-bottom:0px">Thank you.</div><div style="margin-top:0px;margin-bottom:0px"><br></div><div style="margin-top:0px;margin-bottom:0px">Zakariae Jorti</div></div></div></blockquote></div></div></div></div></blockquote></div></div></div></div></div></div></blockquote></div><br></div></div></div></blockquote></div></div>