<div dir="ltr"><div><div><div><div><div><div><div><div>Hi all, <br><br></div>I am experimenting with mpiexec.hydra's binding options for the following compute node:<br><br>Machine (64GB total)<br>  NUMANode L#0 (P#0 32GB)<br>    Socket L#0 + L3 L#0 (25MB)<br>      L2 L#0 (256KB) + L1d L#0 (32KB) + L1i L#0 (32KB) + Core L#0 + PU L#0 (P#0)<br>      L2 L#1 (256KB) + L1d L#1 (32KB) + L1i L#1 (32KB) + Core L#1 + PU L#1 (P#1)<br>      L2 L#2 (256KB) + L1d L#2 (32KB) + L1i L#2 (32KB) + Core L#2 + PU L#2 (P#2)<br>      L2 L#3 (256KB) + L1d L#3 (32KB) + L1i L#3 (32KB) + Core L#3 + PU L#3 (P#3)<br>      L2 L#4 (256KB) + L1d L#4 (32KB) + L1i L#4 (32KB) + Core L#4 + PU L#4 (P#4)<br>      L2 L#5 (256KB) + L1d L#5 (32KB) + L1i L#5 (32KB) + Core L#5 + PU L#5 (P#5)<br>      L2 L#6 (256KB) + L1d L#6 (32KB) + L1i L#6 (32KB) + Core L#6 + PU L#6 (P#6)<br>      L2 L#7 (256KB) + L1d L#7 (32KB) + L1i L#7 (32KB) + Core L#7 + PU L#7 (P#7)<br>      L2 L#8 (256KB) + L1d L#8 (32KB) + L1i L#8 (32KB) + Core L#8 + PU L#8 (P#8)<br>      L2 L#9 (256KB) + L1d L#9 (32KB) + L1i L#9 (32KB) + Core L#9 + PU L#9 (P#9)<br>    HostBridge L#0<br>      PCIBridge<br>        PCI 1000:0087<br>          Block L#0 "sda"<br>      PCIBridge<br>        PCI 15b3:1003<br>          Net L#1 "eth0"<br>          Net L#2 "ib0"<br>          OpenFabrics L#3 "mlx4_0"<br>      PCIBridge<br>        PCI 8086:1521<br>          Net L#4 "eth1"<br>        PCI 8086:1521<br>          Net L#5 "eth2"<br>      PCIBridge<br>        PCI 102b:0533<br>      PCI 8086:1d02<br>  NUMANode L#1 (P#1 32GB) + Socket L#1 + L3 L#1 (25MB)<br>    L2 L#10 (256KB) + L1d L#10 (32KB) + L1i L#10 (32KB) + Core L#10 + PU L#10 (P#10)<br>    L2 L#11 (256KB) + L1d L#11 (32KB) + L1i L#11 (32KB) + Core L#11 + PU L#11 (P#11)<br>    L2 L#12 (256KB) + L1d L#12 (32KB) + L1i L#12 (32KB) + Core L#12 + PU L#12 (P#12)<br>    L2 L#13 (256KB) + L1d L#13 (32KB) + L1i L#13 (32KB) + Core L#13 + PU L#13 (P#13)<br>    L2 L#14 (256KB) + L1d L#14 (32KB) + L1i L#14 (32KB) + Core L#14 + PU L#14 (P#14)<br>    L2 L#15 (256KB) + L1d L#15 (32KB) + L1i L#15 (32KB) + Core L#15 + PU L#15 (P#15)<br>    L2 L#16 (256KB) + L1d L#16 (32KB) + L1i L#16 (32KB) + Core L#16 + PU L#16 (P#16)<br>    L2 L#17 (256KB) + L1d L#17 (32KB) + L1i L#17 (32KB) + Core L#17 + PU L#17 (P#17)<br>    L2 L#18 (256KB) + L1d L#18 (32KB) + L1i L#18 (32KB) + Core L#18 + PU L#18 (P#18)<br>    L2 L#19 (256KB) + L1d L#19 (32KB) + L1i L#19 (32KB) + Core L#19 + PU L#19 (P#19)<br><br></div>I am currently using up to 16 processes and have the following:<br><br></div>${MPIEXEC}.hydra -n <procs> -bind-to hwthread -map-by socket ./myprogram <args><br><br></div>For 16 processes, the binding looks like this:<br><br>process 0 binding: 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 1 binding: 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 <br>process 2 binding: 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 3 binding: 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 <br>process 4 binding: 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 5 binding: 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 <br>process 6 binding: 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 7 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 <br>process 8 binding: 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 9 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 <br>process 10 binding: 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 11 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 <br>process 12 binding: 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 13 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 <br>process 14 binding: 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 15 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 <br><br></div>where the ranks are staggered (but evenly distributed) among the two sockets. However, if I grouped the ranks sequentially like this:<br><br>process 0 binding: 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 1 binding: 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 2 binding: 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 3 binding: 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 4 binding: 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 5 binding: 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 6 binding: 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 7 binding: 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 <br>process 8 binding: 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 <br>process 9 binding: 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 <br>process 10 binding: 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 <br>process 11 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 <br>process 12 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 <br>process 13 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 <br>process 14 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 <br>process 15 binding: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 <br><br> </div>Would this be more efficient? I was wondering if, in the context of local/global numbering for PETSc's matrices and vectors, this would make any difference. I have used ParMETIS to distribute/organize my DMPlex.<br><br></div>Thanks,<br></div>Justin<br></div>