<div dir="ltr">FWIW, Here is the output from ex13 on 32K processes (8K Fugaku nodes/sockets, 4 MPI/node, which seems recommended) with 128^3 vertex mesh (64^3 Q2 3D Laplacian).<div>Almost an hour.<br><div>Attached is solver scaling.<br><div><br><div><font face="monospace"><br></font></div><div><font face="monospace">  0 SNES Function norm 3.658334849208e+00 <br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  1 SNES Function norm 1.609000373074e-12 <br>Nonlinear solve converged due to CONVERGED_ITS iterations 1<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>  Linear solve converged due to CONVERGED_RTOL iterations 22<br>************************************************************************************************************************<br>***             WIDEN YOUR WINDOW TO 120 CHARACTERS.  Use 'enscript -r -fCourier9' to print this document            ***<br>************************************************************************************************************************<br><br>---------------------------------------------- PETSc Performance Summary: ----------------------------------------------<br><br>../ex13 on a  named i07-4008c with 32768 processors, by a04199 Fri Feb 12 23:27:13 2021<br>Using Petsc Development GIT revision: v3.14.4-579-g4cb72fa  GIT Date: 2021-02-05 15:19:40 +0000<br><br>                         Max       Max/Min     Avg       Total<br>Time (sec):           3.373e+03     1.000   3.373e+03<br>Objects:              1.055e+05    14.797   7.144e+03<br>Flop:                 5.376e+10     1.176   4.885e+10  1.601e+15<br>Flop/sec:             1.594e+07     1.176   1.448e+07  4.745e+11<br>MPI Messages:         6.048e+05    30.010   8.833e+04  2.894e+09<br>MPI Message Lengths:  1.127e+09     4.132   6.660e+03  1.928e+13<br>MPI Reductions:       1.824e+03     1.000<br><br>Flop counting convention: 1 flop = 1 real number operation of type (multiply/divide/add/subtract)<br>                            e.g., VecAXPY() for real vectors of length N --> 2N flop<br>                            and VecAXPY() for complex vectors of length N --> 8N flop<br><br>Summary of Stages:   ----- Time ------  ----- Flop ------  --- Messages ---  -- Message Lengths --  -- Reductions --<br>                        Avg     %Total     Avg     %Total    Count   %Total     Avg         %Total    Count   %Total<br> 0:      Main Stage: 3.2903e+03  97.5%  2.4753e+14  15.5%  3.538e+08  12.2%  1.779e+04       32.7%  9.870e+02  54.1%<br> 1:         PCSetUp: 4.3062e+01   1.3%  1.8160e+13   1.1%  1.902e+07   0.7%  3.714e+04        3.7%  1.590e+02   8.7%<br> 2:  KSP Solve only: 3.9685e+01   1.2%  1.3349e+15  83.4%  2.522e+09  87.1%  4.868e+03       63.7%  6.700e+02  36.7%<br><br>------------------------------------------------------------------------------------------------------------------------<br>See the 'Profiling' chapter of the users' manual for details on interpreting output.<br>Phase summary info:<br>   Count: number of times phase was executed<br>   Time and Flop: Max - maximum over all processors<br>                  Ratio - ratio of maximum to minimum over all processors<br>   Mess: number of messages sent<br>   AvgLen: average message length (bytes)<br>   Reduct: number of global reductions<br>   Global: entire computation<br>   Stage: stages of a computation. Set stages with PetscLogStagePush() and PetscLogStagePop().<br>      %T - percent time in this phase         %F - percent flop in this phase<br>      %M - percent messages in this phase     %L - percent message lengths in this phase<br>      %R - percent reductions in this phase<br>   Total Mflop/s: 10e-6 * (sum of flop over all processors)/(max time over all processors)<br>------------------------------------------------------------------------------------------------------------------------<br>Event                Count      Time (sec)     Flop                              --- Global ---  --- Stage ----  Total<br>                   Max Ratio  Max     Ratio   Max  Ratio  Mess   AvgLen  Reduct  %T %F %M %L %R  %T %F %M %L %R Mflop/s<br>------------------------------------------------------------------------------------------------------------------------<br><br>--- Event Stage 0: Main Stage<br><br>PetscBarrier           5 1.0 1.9907e+00 2.2 0.00e+00 0.0 3.8e+06 7.7e+01 2.0e+01  0  0  0  0  1   0  0  1  0  2     0<br>BuildTwoSided         62 1.0 7.3272e+0214.1 0.00e+00 0.0 6.7e+06 8.0e+00 0.0e+00  5  0  0  0  0   5  0  2  0  0     0<br>BuildTwoSidedF        59 1.0 3.1132e+01 7.4 0.00e+00 0.0 4.8e+06 2.5e+05 0.0e+00  0  0  0  6  0   0  0  1 19  0     0<br>SNESSolve              1 1.0 1.7468e+02 1.0 7.83e+09 1.3 3.4e+08 1.3e+04 8.8e+02  5 13 12 23 48   5 85 96 70 89 1205779<br>SNESSetUp              1 1.0 2.4195e+01 1.0 0.00e+00 0.0 3.7e+06 3.7e+05 1.3e+01  1  0  0  7  1   1  0  1 22  1     0<br>SNESFunctionEval       3 1.0 1.1359e+01 1.2 1.17e+09 1.0 1.6e+06 1.4e+04 2.0e+00  0  2  0  0  0   0 15  0  0  0 3344744<br>SNESJacobianEval       2 1.0 1.6829e+02 1.0 1.52e+09 1.0 1.1e+06 8.3e+05 0.0e+00  5  3  0  5  0   5 20  0 14  0 293588<br>DMCreateMat            1 1.0 2.4107e+01 1.0 0.00e+00 0.0 3.7e+06 3.7e+05 1.3e+01  1  0  0  7  1   1  0  1 22  1     0<br>Mesh Partition         1 1.0 5.0133e+02 1.0 0.00e+00 0.0 1.3e+05 2.7e+02 6.0e+00 15  0  0  0  0  15  0  0  0  1     0<br>Mesh Migration         1 1.0 1.5494e+03 1.0 0.00e+00 0.0 7.3e+05 1.9e+02 2.4e+01 45  0  0  0  1  46  0  0  0  2     0<br>DMPlexPartSelf         1 1.0 1.1498e+002367.3 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>DMPlexPartLblInv       1 1.0 3.6698e+00 1.5 0.00e+00 0.0 0.0e+00 0.0e+00 3.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>DMPlexPartLblSF        1 1.0 2.8522e-01 1.7 0.00e+00 0.0 4.9e+04 1.5e+02 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>DMPlexPartStrtSF       1 1.0 4.9474e+023520.8 0.00e+00 0.0 3.3e+04 4.3e+02 0.0e+00 14  0  0  0  0  15  0  0  0  0     0<br>DMPlexPointSF          1 1.0 9.8750e+021264.8 0.00e+00 0.0 6.6e+04 5.4e+02 0.0e+00 28  0  0  0  0  29  0  0  0  0     0<br>DMPlexInterp          84 1.0 4.3219e-0158.6 0.00e+00 0.0 0.0e+00 0.0e+00 5.0e+00  0  0  0  0  0   0  0  0  0  1     0<br>DMPlexDistribute       1 1.0 3.0000e+03 1.5 0.00e+00 0.0 9.3e+05 2.3e+02 3.0e+01 88  0  0  0  2  90  0  0  0  3     0<br>DMPlexDistCones        1 1.0 1.0688e+03 2.6 0.00e+00 0.0 1.8e+05 3.1e+02 1.0e+00 31  0  0  0  0  31  0  0  0  0     0<br>DMPlexDistLabels       1 1.0 2.9172e+02 1.0 0.00e+00 0.0 3.1e+05 1.9e+02 2.1e+01  9  0  0  0  1   9  0  0  0  2     0<br>DMPlexDistField        1 1.0 1.8688e+02 1.2 0.00e+00 0.0 2.1e+05 9.3e+01 1.0e+00  5  0  0  0  0   5  0  0  0  0     0<br>DMPlexStratify       118 1.0 6.2852e+023280.9 0.00e+00 0.0 0.0e+00 0.0e+00 1.6e+01  1  0  0  0  1   1  0  0  0  2     0<br>DMPlexSymmetrize     118 1.0 6.7634e-02 2.3 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>DMPlexPrealloc         1 1.0 2.3741e+01 1.0 0.00e+00 0.0 3.7e+06 3.7e+05 1.1e+01  1  0  0  7  1   1  0  1 22  1     0<br>DMPlexResidualFE       3 1.0 1.0634e+01 1.2 1.16e+09 1.0 0.0e+00 0.0e+00 0.0e+00  0  2  0  0  0   0 15  0  0  0 3569848<br>DMPlexJacobianFE       2 1.0 1.6809e+02 1.0 1.51e+09 1.0 6.5e+05 1.4e+06 0.0e+00  5  3  0  5  0   5 20  0 14  0 293801<br>SFSetGraph            87 1.0 2.7673e-03 3.2 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>SFSetUp               62 1.0 7.3283e+0213.6 0.00e+00 0.0 2.0e+07 2.7e+04 0.0e+00  5  0  1  3  0   5  0  6  9  0     0<br>SFBcastOpBegin       107 1.0 1.5770e+00452.5 0.00e+00 0.0 2.1e+07 1.8e+04 0.0e+00  0  0  1  2  0   0  0  6  6  0     0<br>SFBcastOpEnd         107 1.0 2.9430e+03 4.8 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00 80  0  0  0  0  82  0  0  0  0     0<br>SFReduceBegin         12 1.0 2.4825e-01172.8 0.00e+00 0.0 2.4e+06 2.0e+05 0.0e+00  0  0  0  2  0   0  0  1  8  0     0<br>SFReduceEnd           12 1.0 3.8286e+014865.8 3.74e+04 0.0 0.0e+00 0.0e+00 0.0e+00  1  0  0  0  0   1  0  0  0  0    31<br>SFFetchOpBegin         2 1.0 2.4497e-0390.2 0.00e+00 0.0 4.3e+05 3.5e+05 0.0e+00  0  0  0  1  0   0  0  0  2  0     0<br>SFFetchOpEnd           2 1.0 6.1349e-0210.9 0.00e+00 0.0 4.3e+05 3.5e+05 0.0e+00  0  0  0  1  0   0  0  0  2  0     0<br>SFCreateEmbed          3 1.0 3.6800e+013261.5 0.00e+00 0.0 4.7e+05 1.7e+03 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>SFDistSection          9 1.0 4.4325e+02 1.5 0.00e+00 0.0 2.8e+06 1.1e+04 9.0e+00 11  0  0  0  0  11  0  1  1  1     0<br>SFSectionSF           11 1.0 2.3898e+02 4.7 0.00e+00 0.0 9.2e+05 1.7e+05 0.0e+00  5  0  0  1  0   5  0  0  2  0     0<br>SFRemoteOff            2 1.0 3.2868e-0143.1 0.00e+00 0.0 8.7e+05 8.2e+03 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>SFPack              1023 1.0 2.5215e-0176.6 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>SFUnpack            1025 1.0 5.1600e-0216.8 5.62e+0521.3 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0 54693<br>MatMult            1549525.4 3.4810e+00 1.3 4.35e+09 1.1 2.2e+08 6.1e+03 0.0e+00  0  8  8  7  0   0 54 62 21  0 38319208<br>MatMultAdd           132 1.0 6.9168e-01 3.0 7.97e+07 1.2 2.8e+07 4.6e+02 0.0e+00  0  0  1  0  0   0  1  8  0  0 3478717<br>MatMultTranspose     132 1.0 5.9967e-01 1.6 8.00e+07 1.2 3.0e+07 4.5e+02 0.0e+00  0  0  1  0  0   0  1  9  0  0 4015214<br>MatSolve              22 0.0 6.8431e-04 0.0 7.41e+05 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0  1082<br>MatLUFactorSym         1 1.0 5.9569e-0433.3 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatLUFactorNum         1 1.0 1.6236e-03773.2 1.46e+06 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0   897<br>MatConvert             6 1.0 1.4290e-01 1.2 0.00e+00 0.0 3.0e+06 3.7e+03 0.0e+00  0  0  0  0  0   0  0  1  0  0     0<br>MatScale              18 1.0 3.7962e-01 1.3 4.11e+07 1.2 2.0e+06 5.5e+03 0.0e+00  0  0  0  0  0   0  0  1  0  0 3253392<br>MatResidual          132 1.0 6.8256e-01 1.4 8.27e+08 1.2 4.4e+07 5.5e+03 0.0e+00  0  2  2  1  0   0 10 13  4  0 36282014<br>MatAssemblyBegin     244 1.0 3.1181e+01 6.6 0.00e+00 0.0 4.8e+06 2.5e+05 0.0e+00  0  0  0  6  0   0  0  1 19  0     0<br>MatAssemblyEnd       244 1.0 6.3232e+00 1.9 3.17e+06 6.9 0.0e+00 0.0e+00 1.4e+02  0  0  0  0  8   0  0  0  0 15  7655<br>MatGetRowIJ            1 0.0 2.5780e-05 0.0 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatCreateSubMat       10 1.0 1.5162e+00 1.0 0.00e+00 0.0 1.6e+05 3.4e+05 1.3e+02  0  0  0  0  7   0  0  0  1 13     0<br>MatGetOrdering         1 0.0 1.0899e-04 0.0 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatCoarsen             6 1.0 3.5837e-01 1.3 0.00e+00 0.0 1.6e+07 1.2e+04 3.9e+01  0  0  1  1  2   0  0  5  3  4     0<br>MatZeroEntries         8 1.0 5.3730e-03 1.2 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatAXPY                6 1.0 2.6245e-01 1.1 2.66e+05 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0 33035<br>MatTranspose          12 1.0 3.0731e-02 1.3 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatMatMultSym         18 1.0 2.1398e+00 1.4 0.00e+00 0.0 6.1e+06 5.5e+03 4.8e+01  0  0  0  0  3   0  0  2  1  5     0<br>MatMatMultNum          6 1.0 1.1243e+00 1.0 3.76e+07 1.2 2.0e+06 5.5e+03 0.0e+00  0  0  0  0  0   0  0  1  0  0 1001203<br>MatPtAPSymbolic        6 1.0 1.7280e+01 1.0 0.00e+00 0.0 1.2e+07 3.2e+04 4.2e+01  1  0  0  2  2   1  0  3  6  4     0<br>MatPtAPNumeric         6 1.0 1.8047e+01 1.0 1.49e+09 5.1 2.8e+06 1.1e+05 2.4e+01  1  1  0  2  1   1  5  1  5  2 663675<br>MatTrnMatMultSym       1 1.0 3.0221e+01 1.0 0.00e+00 0.0 2.4e+06 5.8e+05 1.1e+01  1  0  0  7  1   1  0  1 22  1     0<br>MatGetLocalMat        19 1.0 1.3904e-01 1.2 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatGetBrAoCol         18 1.0 1.9926e-01 5.0 0.00e+00 0.0 1.4e+07 2.3e+04 0.0e+00  0  0  0  2  0   0  0  4  5  0     0<br>MatGetSymTrans         2 1.0 1.8996e-01 1.2 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecTDot              176 1.0 7.0632e-01 4.5 3.48e+07 1.0 0.0e+00 0.0e+00 1.8e+02  0  0  0  0 10   0  0  0  0 18 1608728<br>VecNorm               60 1.0 1.4074e+0012.2 1.58e+07 1.0 0.0e+00 0.0e+00 6.0e+01  0  0  0  0  3   0  0  0  0  6 366467<br>VecCopy              422 1.0 5.1259e-02 3.8 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecSet               653 1.0 2.3974e-03 1.2 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecAXPY              165 1.0 6.5622e-03 1.3 3.42e+07 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0 170485467<br>VecAYPX              861 1.0 7.8529e-02 1.2 6.21e+07 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  1  0  0  0 25785252<br>VecAXPBYCZ           264 1.0 4.1343e-02 1.5 5.85e+07 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  1  0  0  0 46135592<br>VecAssemblyBegin      21 1.0 2.3463e-01 1.5 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecAssemblyEnd        21 1.0 1.4457e-04 1.6 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecPointwiseMult     600 1.0 5.7510e-02 1.2 2.66e+07 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0 15075754<br>VecScatterBegin      902 1.0 5.1188e-01 1.2 0.00e+00 0.0 2.9e+08 5.3e+03 0.0e+00  0  0 10  8  0   0  0 82 25  0     0<br>VecScatterEnd        902 1.0 1.2143e+00 3.2 5.50e+0537.9 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0  1347<br>VecSetRandom           6 1.0 2.6354e-02 1.4 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>DualSpaceSetUp         7 1.0 5.3467e-0112.0 4.26e+03 1.0 0.0e+00 0.0e+00 1.3e+01  0  0  0  0  1   0  0  0  0  1   261<br>FESetUp                7 1.0 1.7541e-01128.5 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>KSPSetUp              15 1.0 2.7470e-01 1.1 2.04e+08 1.2 1.0e+07 5.5e+03 1.3e+02  0  0  0  0  7   0  2  3  1 13 22477233<br>KSPSolve               1 1.0 4.3257e+00 1.0 4.33e+09 1.1 2.5e+08 4.8e+03 6.6e+01  0  8  9  6  4   0 54 72 20  7 30855976<br>PCGAMGGraph_AGG        6 1.0 5.0969e+00 1.0 3.76e+07 1.2 5.1e+06 4.4e+03 4.8e+01  0  0  0  0  3   0  0  1  0  5 220852<br>PCGAMGCoarse_AGG       6 1.0 3.1121e+01 1.0 0.00e+00 0.0 2.5e+07 6.9e+04 5.5e+01  1  0  1  9  3   1  0  7 27  6     0<br>PCGAMGProl_AGG         6 1.0 5.8196e-01 1.0 0.00e+00 0.0 6.6e+06 9.3e+03 7.2e+01  0  0  0  0  4   0  0  2  1  7     0<br>PCGAMGPOpt_AGG         6 1.0 3.2414e+00 1.0 2.42e+08 1.2 2.1e+07 5.3e+03 1.6e+02  0  0  1  1  9   0  3  6  2 17 2256493<br>GAMG: createProl       6 1.0 4.0042e+01 1.0 2.80e+08 1.2 5.8e+07 3.3e+04 3.4e+02  1  1  2 10 19   1  3 16 31 34 210778<br>  Graph               12 1.0 5.0926e+00 1.0 3.76e+07 1.2 5.1e+06 4.4e+03 4.8e+01  0  0  0  0  3   0  0  1  0  5 221038<br>  MIS/Agg              6 1.0 3.5850e-01 1.3 0.00e+00 0.0 1.6e+07 1.2e+04 3.9e+01  0  0  1  1  2   0  0  5  3  4     0<br>  SA: col data         6 1.0 3.0509e-01 1.0 0.00e+00 0.0 5.4e+06 9.2e+03 2.4e+01  0  0  0  0  1   0  0  2  1  2     0<br>  SA: frmProl0         6 1.0 2.3467e-01 1.1 0.00e+00 0.0 1.3e+06 9.5e+03 2.4e+01  0  0  0  0  1   0  0  0  0  2     0<br>  SA: smooth           6 1.0 2.7855e+00 1.0 4.14e+07 1.2 8.1e+06 5.5e+03 6.3e+01  0  0  0  0  3   0  1  2  1  6 446491<br>GAMG: partLevel        6 1.0 3.7266e+01 1.0 1.49e+09 5.1 1.5e+07 4.9e+04 3.2e+02  1  1  1  4 17   1  5  4 12 32 321395<br>  repartition          5 1.0 2.0343e+00 1.1 0.00e+00 0.0 4.0e+05 1.4e+05 2.5e+02  0  0  0  0 14   0  0  0  1 25     0<br>  Invert-Sort          5 1.0 1.5021e-01 1.1 0.00e+00 0.0 0.0e+00 0.0e+00 3.0e+01  0  0  0  0  2   0  0  0  0  3     0<br>  Move A               5 1.0 1.1548e+00 1.0 0.00e+00 0.0 1.6e+05 3.4e+05 7.0e+01  0  0  0  0  4   0  0  0  1  7     0<br>  Move P               5 1.0 4.2799e-01 1.1 0.00e+00 0.0 0.0e+00 0.0e+00 7.5e+01  0  0  0  0  4   0  0  0  0  8     0<br>PCGAMG Squ l00         1 1.0 3.0221e+01 1.0 0.00e+00 0.0 2.4e+06 5.8e+05 1.1e+01  1  0  0  7  1   1  0  1 22  1     0<br>PCGAMG Gal l00         1 1.0 8.7411e+00 1.0 2.93e+08 1.1 5.4e+06 4.5e+04 1.2e+01  0  1  0  1  1   0  4  2  4  1 1092355<br>PCGAMG Opt l00         1 1.0 1.9734e+00 1.0 3.36e+07 1.1 3.2e+06 1.2e+04 9.0e+00  0  0  0  0  0   0  0  1  1  1 555327<br>PCGAMG Gal l01         1 1.0 1.0153e+00 1.0 3.50e+07 1.4 5.9e+06 3.9e+04 1.2e+01  0  0  0  1  1   0  0  2  4  1 1079887<br>PCGAMG Opt l01         1 1.0 7.4812e-02 1.0 5.35e+05 1.2 3.2e+06 1.1e+03 9.0e+00  0  0  0  0  0   0  0  1  0  1 232542<br>PCGAMG Gal l02         1 1.0 1.8063e+00 1.0 7.43e+07 0.0 3.0e+06 5.9e+04 1.2e+01  0  0  0  1  1   0  0  1  3  1 593392<br>PCGAMG Opt l02         1 1.0 1.1580e-01 1.1 6.93e+05 0.0 1.6e+06 1.3e+03 9.0e+00  0  0  0  0  0   0  0  0  0  1 93213<br>PCGAMG Gal l03         1 1.0 6.1075e+00 1.0 2.72e+08 0.0 2.6e+05 9.2e+04 1.1e+01  0  0  0  0  1   0  0  0  0  1 36155<br>PCGAMG Opt l03         1 1.0 8.0836e-02 1.0 1.55e+06 0.0 1.4e+05 1.4e+03 8.0e+00  0  0  0  0  0   0  0  0  0  1 18229<br>PCGAMG Gal l04         1 1.0 1.6203e+01 1.0 9.44e+08 0.0 1.4e+04 3.0e+05 1.1e+01  0  0  0  0  1   0  0  0  0  1  2366<br>PCGAMG Opt l04         1 1.0 1.2663e-01 1.0 2.01e+06 0.0 6.9e+03 2.2e+03 8.0e+00  0  0  0  0  0   0  0  0  0  1   817<br>PCGAMG Gal l05         1 1.0 1.4800e+00 1.0 3.16e+08 0.0 9.0e+01 1.6e+05 1.1e+01  0  0  0  0  1   0  0  0  0  1   796<br>PCGAMG Opt l05         1 1.0 8.1763e-02 1.1 2.50e+06 0.0 4.8e+01 4.6e+03 8.0e+00  0  0  0  0  0   0  0  0  0  1   114<br>PCSetUp                2 1.0 7.7969e+01 1.0 1.97e+09 2.8 8.3e+07 3.3e+04 8.1e+02  2  2  3 14 44   2 11 23 43 82 341051<br>PCSetUpOnBlocks       22 1.0 2.4609e-0317.2 1.46e+06 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0   592<br>PCApply               22 1.0 3.6455e+00 1.1 3.57e+09 1.2 2.4e+08 4.3e+03 0.0e+00  0  7  8  5  0   0 43 67 16  0 29434967<br><br>--- Event Stage 1: PCSetUp<br><br>BuildTwoSided          4 1.0 1.5980e-01 2.7 0.00e+00 0.0 2.1e+05 8.0e+00 0.0e+00  0  0  0  0  0   0  0  1  0  0     0<br>BuildTwoSidedF         6 1.0 1.3169e+01 5.5 0.00e+00 0.0 1.9e+06 1.9e+05 0.0e+00  0  0  0  2  0  28  0 10 51  0     0<br>SFSetGraph             5 1.0 4.9640e-0519.0 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>SFSetUp                4 1.0 1.6038e-01 2.3 0.00e+00 0.0 6.4e+05 9.1e+02 0.0e+00  0  0  0  0  0   0  0  3  0  0     0<br>SFPack                30 1.0 3.3376e-04 4.7 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>SFUnpack              30 1.0 1.2101e-05 1.7 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatMult               30 1.0 1.5544e-01 1.5 1.87e+08 1.2 1.0e+07 5.5e+03 0.0e+00  0  0  0  0  0   0 31 53  8  0 35930640<br>MatAssemblyBegin      43 1.0 1.3201e+01 4.7 0.00e+00 0.0 1.9e+06 1.9e+05 0.0e+00  0  0  0  2  0  28  0 10 51  0     0<br>MatAssemblyEnd        43 1.0 1.1159e+01 1.0 2.77e+07705.7 0.0e+00 0.0e+00 2.0e+01  0  0  0  0  1  26  0  0  0 13  1036<br>MatZeroEntries         6 1.0 4.7315e-0410.7 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatTranspose          12 1.0 2.5142e-02 1.4 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatMatMultSym         10 1.0 5.8783e-0117.4 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatPtAPSymbolic        5 1.0 1.4489e+01 1.0 0.00e+00 0.0 6.2e+06 3.6e+04 3.5e+01  0  0  0  1  2  34  0 32 31 22     0<br>MatPtAPNumeric         6 1.0 2.8457e+01 1.0 1.50e+09 5.1 2.7e+06 1.6e+05 2.0e+01  1  1  0  2  1  66 66 14 61 13 421190<br>MatGetLocalMat         6 1.0 9.8574e-03 1.3 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatGetBrAoCol          6 1.0 3.7669e-01 2.3 0.00e+00 0.0 5.1e+06 3.8e+04 0.0e+00  0  0  0  1  0   0  0 27 28  0     0<br>VecTDot               66 1.0 6.5271e-02 4.1 5.85e+06 1.0 0.0e+00 0.0e+00 6.6e+01  0  0  0  0  4   0  1  0  0 42 2922260<br>VecNorm               36 1.0 1.1226e-02 3.2 3.19e+06 1.0 0.0e+00 0.0e+00 3.6e+01  0  0  0  0  2   0  1  0  0 23 9268067<br>VecCopy               12 1.0 1.2805e-03 3.4 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecSet                11 1.0 6.6620e-05 1.4 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecAXPY               60 1.0 1.0763e-03 1.5 5.32e+06 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  1  0  0  0 161104914<br>VecAYPX               24 1.0 2.0581e-03 1.3 2.13e+06 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0 33701038<br>VecPointwiseMult      36 1.0 3.5709e-03 1.3 1.60e+06 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0 14567861<br>VecScatterBegin       30 1.0 2.9079e-03 7.8 0.00e+00 0.0 1.0e+07 5.5e+03 0.0e+00  0  0  0  0  0   0  0 53  8  0     0<br>VecScatterEnd         30 1.0 3.7015e-0263.0 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>KSPSetUp               7 1.0 2.3165e-01 1.0 2.04e+08 1.2 1.0e+07 5.5e+03 1.0e+02  0  0  0  0  6   1 34 53  8 64 26654598<br>PCGAMG Gal l00         1 1.0 4.7415e+00 1.0 2.94e+08 1.1 1.8e+06 7.8e+04 0.0e+00  0  1  0  1  0  11 53  9 20  0 2015623<br>PCGAMG Gal l01         1 1.0 1.2103e+00 1.0 3.50e+07 1.4 4.8e+06 6.2e+04 1.2e+01  0  0  0  2  1   3  6 25 41  8 905938<br>PCGAMG Gal l02         1 1.0 3.4334e+00 1.0 7.41e+07 0.0 2.2e+06 8.7e+04 1.2e+01  0  0  0  1  1   8  6 11 27  8 312184<br>PCGAMG Gal l03         1 1.0 9.6062e+00 1.0 2.71e+08 0.0 1.9e+05 1.3e+05 1.1e+01  0  0  0  0  1  22  1  1  4  7 22987<br>PCGAMG Gal l04         1 1.0 2.2482e+01 1.0 9.43e+08 0.0 8.7e+03 4.8e+05 1.1e+01  1  0  0  0  1  52  0  0  1  7  1705<br>PCGAMG Gal l05         1 1.0 1.5961e+00 1.1 3.16e+08 0.0 6.8e+01 2.2e+05 1.1e+01  0  0  0  0  1   4  0  0  0  7   738<br>PCSetUp                1 1.0 4.3191e+01 1.0 1.70e+09 3.6 1.9e+07 3.7e+04 1.6e+02  1  1  1  4  9 100100100100100 420463<br><br>--- Event Stage 2: KSP Solve only<br><br>SFPack              8140 1.0 7.4247e-02 4.8 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>SFUnpack            8140 1.0 1.2905e-02 5.2 5.50e+0637.9 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0 1267207<br>MatMult             5500 1.0 2.9994e+01 1.2 3.98e+10 1.1 2.0e+09 6.1e+03 0.0e+00  1 76 68 62  0  70 92 78 98  0 40747181<br>MatMultAdd          1320 1.0 6.2192e+00 2.7 7.97e+08 1.2 2.8e+08 4.6e+02 0.0e+00  0  2 10  1  0  14  2 11  1  0 3868976<br>MatMultTranspose    1320 1.0 4.0304e+00 1.7 8.00e+08 1.2 2.8e+08 4.6e+02 0.0e+00  0  2 10  1  0   7  2 11  1  0 5974153<br>MatSolve             220 0.0 6.7366e-03 0.0 7.41e+06 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0  1100<br>MatLUFactorSym         1 1.0 5.8691e-0435.5 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatLUFactorNum         1 1.0 1.5955e-03756.2 1.46e+06 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0   913<br>MatResidual         1320 1.0 6.4920e+00 1.3 8.27e+09 1.2 4.4e+08 5.5e+03 0.0e+00  0 15 15 13  0  14 19 18 20  0 38146350<br>MatGetRowIJ            1 0.0 2.7820e-05 0.0 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>MatGetOrdering         1 0.0 9.6940e-05 0.0 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecTDot              440 1.0 4.6162e+00 6.9 2.31e+08 1.0 0.0e+00 0.0e+00 4.4e+02  0  0  0  0 24   5  1  0  0 66 1635124<br>VecNorm              230 1.0 3.9605e-02 1.6 1.21e+08 1.0 0.0e+00 0.0e+00 2.3e+02  0  0  0  0 13   0  0  0  0 34 99622387<br>VecCopy             3980 1.0 5.4166e-01 4.3 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecSet              4640 1.0 1.4216e-02 1.2 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>VecAXPY              440 1.0 4.2829e-02 1.3 2.31e+08 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  1  0  0  0 176236363<br>VecAYPX             8130 1.0 7.3998e-01 1.2 5.78e+08 1.0 0.0e+00 0.0e+00 0.0e+00  0  1  0  0  0   2  1  0  0  0 25489392<br>VecAXPBYCZ          2640 1.0 3.9974e-01 1.5 5.85e+08 1.0 0.0e+00 0.0e+00 0.0e+00  0  1  0  0  0   1  1  0  0  0 47716315<br>VecPointwiseMult    5280 1.0 5.9845e-01 1.5 2.34e+08 1.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   1  1  0  0  0 12748927<br>VecScatterBegin     8140 1.0 4.9231e-01 5.9 0.00e+00 0.0 2.5e+09 4.9e+03 0.0e+00  0  0 87 64  0   1  0100100  0     0<br>VecScatterEnd       8140 1.0 1.0172e+01 3.6 5.50e+0637.9 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0  13  0  0  0  0  1608<br>KSPSetUp               1 1.0 9.5996e-07 3.1 0.00e+00 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0     0<br>KSPSolve              10 1.0 3.9685e+01 1.0 4.33e+10 1.1 2.5e+09 4.9e+03 6.7e+02  1 83 87 64 37 100100100100100 33637495<br>PCSetUp                1 1.0 2.4149e-0318.1 1.46e+06 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0   603<br>PCSetUpOnBlocks      220 1.0 2.6945e-03 8.9 1.46e+06 0.0 0.0e+00 0.0e+00 0.0e+00  0  0  0  0  0   0  0  0  0  0   540<br>PCApply              220 1.0 3.2921e+01 1.1 3.57e+10 1.2 2.3e+09 4.3e+03 0.0e+00  1 67 81 53  0  81 80 93 82  0 32595360<br>------------------------------------------------------------------------------------------------------------------------<br><br>Memory usage is given in bytes:<br><br>Object Type          Creations   Destructions     Memory  Descendants' Mem.<br>Reports information only for process 0.<br><br>--- Event Stage 0: Main Stage<br><br>           Container   112            112        69888     0.<br>                SNES     1              1         1532     0.<br>              DMSNES     1              1          720     0.<br>    Distributed Mesh   449            449     30060888     0.<br>            DM Label   790            790       549840     0.<br>          Quadrature   579            579       379824     0.<br>           Index Set 100215          100210    361926232     0.<br>   IS L to G Mapping     8             13      4356552     0.<br>             Section   771            771       598296     0.<br>   Star Forest Graph   897            897      1053640     0.<br>     Discrete System   521            521       533512     0.<br>    GraphPartitioner   118            118        91568     0.<br>              Matrix   432            462   2441805304     0.<br>      Matrix Coarsen     6              6         4032     0.<br>              Vector   354            354     65492968     0.<br>        Linear Space     7              7         5208     0.<br>          Dual Space   111            111       113664     0.<br>            FE Space     7              7         5992     0.<br>       Field over DM     6              6         4560     0.<br>       Krylov Solver    21             21        37560     0.<br>     DMKSP interface     1              1          704     0.<br>      Preconditioner    21             21        21632     0.<br>              Viewer     2              1          896     0.<br>         PetscRandom    12             12         8520     0.<br><br>--- Event Stage 1: PCSetUp<br><br>           Index Set    10             15     85367336     0.<br>   IS L to G Mapping     5              0            0     0.<br>   Star Forest Graph     5              5         6600     0.<br>              Matrix    50             20     73134024     0.<br>              Vector    28             28      6235096     0.<br><br>--- Event Stage 2: KSP Solve only<br><br>           Index Set     5              5         8296     0.<br>              Matrix     1              1       273856     0.<br>========================================================================================================================<br>Average time to get PetscTime(): 6.40051e-08<br>Average time for MPI_Barrier(): 8.506e-06<br>Average time for zero size MPI_Send(): 6.6027e-06<br>#PETSc Option Table entries:<br>-benchmark_it 10<br>-dm_distribute<br>-dm_plex_box_dim 3<br>-dm_plex_box_faces 32,32,32<br>-dm_plex_box_lower 0,0,0<br>-dm_plex_box_simplex 0<br>-dm_plex_box_upper 1,1,1<br>-dm_refine 5<br>-ksp_converged_reason<br>-ksp_max_it 150<br>-ksp_norm_type unpreconditioned<br>-ksp_rtol 1.e-12<br>-ksp_type cg<br>-log_view<br>-matptap_via scalable<br>-mg_levels_esteig_ksp_max_it 5<br>-mg_levels_esteig_ksp_type cg<br>-mg_levels_ksp_max_it 2<br>-mg_levels_ksp_type chebyshev<br>-mg_levels_pc_type jacobi<br>-pc_gamg_agg_nsmooths 1<br>-pc_gamg_coarse_eq_limit 2000<br>-pc_gamg_coarse_grid_layout_type spread<br>-pc_gamg_esteig_ksp_max_it 5<br>-pc_gamg_esteig_ksp_type cg<br>-pc_gamg_process_eq_limit 500<br>-pc_gamg_repartition false<br>-pc_gamg_reuse_interpolation true<br>-pc_gamg_square_graph 1<br>-pc_gamg_threshold 0.01<br>-pc_gamg_threshold_scale .5<br>-pc_gamg_type agg<br>-pc_type gamg<br>-petscpartitioner_simple_node_grid 8,8,8<br>-petscpartitioner_simple_process_grid 4,4,4<br>-petscpartitioner_type simple<br>-potential_petscspace_degree 2<br>-snes_converged_reason<br>-snes_max_it 1<br>-snes_monitor<br>-snes_rtol 1.e-8<br>-snes_type ksponly<br>#End of PETSc Option Table entries<br>Compiled without FORTRAN kernels<br>Compiled with 64 bit PetscInt<br>Compiled with full precision matrices (default)<br>sizeof(short) 2 sizeof(int) 4 sizeof(long) 8 sizeof(void*) 8 sizeof(PetscScalar) 8 sizeof(PetscInt) 8<br>Configure options: CC=mpifccpx CXX=mpiFCCpx CFLAGS="-L /opt/FJSVxtclanga/tcsds-1.2.29/lib64 -lfjlapack" CXXFLAGS="-L /opt/FJSVxtclanga/tcsds-1.2.29/lib64 -lfjlapack" COPTFLAGS=-Kfast CXXOPTFLAGS=-Kfast --with-fc=0 --package-prefix-hash=/home/ra010009/a04199/petsc-hash-pkgs --with-batch=1 --with-shared-libraries=yes --with-debugging=no --with-64-bit-indices=1 PETSC_ARCH=arch-fugaku-fujitsu<br>-----------------------------------------<br>Libraries compiled on 2021-02-12 02:27:41 on fn01sv08 <br>Machine characteristics: Linux-3.10.0-957.27.2.el7.x86_64-x86_64-with-redhat-7.6-Maipo<br>Using PETSc directory: /home/ra010009/a04199/petsc<br>Using PETSc arch: <br>-----------------------------------------<br><br>Using C compiler: mpifccpx -L /opt/FJSVxtclanga/tcsds-1.2.29/lib64 -lfjlapack -fPIC -Kfast   <br>-----------------------------------------<br><br>Using include paths: -I/home/ra010009/a04199/petsc/include -I/home/ra010009/a04199/petsc/arch-fugaku-fujitsu/include<br>-----------------------------------------<br><br>Using C linker: mpifccpx<br>Using libraries: -Wl,-rpath,/home/ra010009/a04199/petsc/lib -L/home/ra010009/a04199/petsc/lib -lpetsc -Wl,-rpath,/opt/FJSVxos/devkit/aarch64/lib/gcc/aarch64-linux-gnu/8 -L/opt/FJSVxos/devkit/aarch64/lib/gcc/aarch64-linux-gnu/8 -Wl,-rpath,/opt/FJSVxtclanga/tcsds-1.2.29/lib64 -L/opt/FJSVxtclanga/tcsds-1.2.29/lib64 -Wl,-rpath,/opt/FJSVxtclanga/.common/MELI022/lib64 -L/opt/FJSVxtclanga/.common/MELI022/lib64 -Wl,-rpath,/opt/FJSVxos/devkit/aarch64/aarch64-linux-gnu/lib64 -L/opt/FJSVxos/devkit/aarch64/aarch64-linux-gnu/lib64 -Wl,-rpath,/opt/FJSVxos/devkit/aarch64/rfs/usr/lib64 -L/opt/FJSVxos/devkit/aarch64/rfs/usr/lib64 -Wl,-rpath,/opt/FJSVxos/devkit/aarch64/rfs/opt/FJSVxos/mmm/lib64 -L/opt/FJSVxos/devkit/aarch64/rfs/opt/FJSVxos/mmm/lib64 -Wl,-rpath,/opt/FJSVxtclanga/tcsds-1.2.29/lib64/nofjobj -L/opt/FJSVxtclanga/tcsds-1.2.29/lib64/nofjobj -lX11 -lfjprofmpi -lfjlapack -ldl -lmpi_cxx -lmpi -lfjstring_internal -lfj90i -lfj90fmt_sve -lfj90f -lfjsrcinfo -lfjcrt -lfjprofcore -lfjprofomp -lfjc++ -lfjc++abi -lfjdemgl -lmpg -lm -lrt -lpthread -lelf -lz -lgcc_s -ldl<br>-----------------------------------------<br></font><br></div></div></div></div></div>