[petsc-users] Scalability problem using PETSc with local installed OpenMPI
Barry Smith
bsmith at petsc.dev
Tue Oct 10 10:10:56 CDT 2023
This tells me you cannot realistically expect for large PETSc problems to get much more than a speedup of 2 on this system using two or four MPI processes; there simply is not more memory bandwidth available. There are two NUMA regions and a single core largely saturates a region. Also, always running MPI with the binding is important to get that small speedup.
Barry
> On Oct 10, 2023, at 10:47 AM, Gong Yujie <yc17470 at connect.um.edu.mo> wrote:
>
> Here is the result from STREAMS, lscpu and numactl.
>
>
> -----------------------------lscpu------------------------------------
> Architecture: x86_64
> CPU op-mode(s): 32-bit, 64-bit
> Byte Order: Little Endian
> CPU(s): 128
> On-line CPU(s) list: 0-127
> Thread(s) per core: 1
> Core(s) per socket: 64
> Socket(s): 2
> NUMA node(s): 2
> Vendor ID: AuthenticAMD
> CPU family: 23
> Model: 49
> Model name: AMD EPYC 7702 64-Core Processor
> Stepping: 0
> CPU MHz: 1996.019
> BogoMIPS: 3992.03
> Virtualization: AMD-V
> L1d cache: 32K
> L1i cache: 32K
> L2 cache: 512K
> L3 cache: 16384K
> NUMA node0 CPU(s): 0-63
> NUMA node1 CPU(s): 64-127
> Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc art rep_good nopl nonstop_tsc extd_apicid aperfmperf eagerfpu pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_l2 cpb cat_l3 cdp_l3 hw_pstate sme retpoline_amd ssbd ibrs ibpb stibp vmmcall fsgsbase bmi1 avx2 smep bmi2 cqm rdt_a rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local clzero irperf xsaveerptr arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold avic v_vmsave_vmload vgif umip overflow_recov succor smca
>
> ----------------------------numactl -H-----------------------------
> available: 2 nodes (0-1)
> node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63
> node 0 size: 128418 MB
> node 0 free: 123340 MB
> node 1 cpus: 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127
> node 1 size: 129010 MB
> node 1 free: 124685 MB
> node distances:
> node 0 1
> 0: 10 32
> 1: 32 10
>
>
> --------------------------STREAMS----------------------------------
>
> mpicc -o MPIVersion.o -c -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fstack-protector -fvisibility=hidden -g -O -I/home/tt/petsc-3.16.0/include -I/home/tt/petsc-3.16.0/arch-linux-c-opt/include `pwd`/MPIVersion.c
> Running streams with 'mpiexec --oversubscribe -map-by socket --bind-to core --report-bindings' using 'NPMAX=40'
> [cpunode1:68038] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 1 26155.1277 Rate (MB/s)
> [cpunode1:68050] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68050] MCW rank 1 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 2 52098.6873 Rate (MB/s) 1.99191
> [cpunode1:68065] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68065] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68065] MCW rank 2 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 3 44731.8512 Rate (MB/s) 1.71025
> [cpunode1:68082] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68082] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68082] MCW rank 2 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68082] MCW rank 3 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 4 59559.5275 Rate (MB/s) 2.27717
> [cpunode1:68103] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68103] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68103] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68103] MCW rank 3 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68103] MCW rank 4 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 5 48477.2117 Rate (MB/s) 1.85345
> [cpunode1:68126] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68126] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68126] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68126] MCW rank 3 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68126] MCW rank 4 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68126] MCW rank 5 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 6 58136.2545 Rate (MB/s) 2.22275
> [cpunode1:68153] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68153] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68153] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68153] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68153] MCW rank 4 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68153] MCW rank 5 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68153] MCW rank 6 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 7 50119.2133 Rate (MB/s) 1.91623
> [cpunode1:68182] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68182] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68182] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68182] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68182] MCW rank 4 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68182] MCW rank 5 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68182] MCW rank 6 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68182] MCW rank 7 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 8 57432.5057 Rate (MB/s) 2.19584
> [cpunode1:68214] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68214] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68214] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68214] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68214] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68214] MCW rank 5 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68214] MCW rank 6 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68214] MCW rank 7 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68214] MCW rank 8 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 9 52345.9115 Rate (MB/s) 2.00137
> [cpunode1:68250] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68250] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68250] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68250] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68250] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68250] MCW rank 5 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68250] MCW rank 6 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68250] MCW rank 7 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68250] MCW rank 8 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68250] MCW rank 9 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 10 57727.5090 Rate (MB/s) 2.20712
> [cpunode1:68288] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 6 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 7 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 8 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 9 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68288] MCW rank 10 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 11 52568.6771 Rate (MB/s) 2.00988
> [cpunode1:68330] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 6 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 7 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 8 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 9 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 10 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68330] MCW rank 11 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 12 57286.7990 Rate (MB/s) 2.19027
> [cpunode1:68383] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 7 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 8 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 9 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 10 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 11 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68383] MCW rank 12 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 13 52721.4401 Rate (MB/s) 2.01572
> [cpunode1:68430] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 7 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 8 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 9 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 10 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 11 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 12 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68430] MCW rank 13 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 14 56787.2447 Rate (MB/s) 2.17117
> [cpunode1:68481] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 8 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 9 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 10 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 11 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 12 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 13 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68481] MCW rank 14 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 15 53317.0901 Rate (MB/s) 2.0385
> [cpunode1:68534] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 8 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 9 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 10 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 11 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 12 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 13 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 14 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68534] MCW rank 15 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 16 56708.7028 Rate (MB/s) 2.16817
> [cpunode1:68590] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 9 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 10 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 11 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 12 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 13 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 14 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 15 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68590] MCW rank 16 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 17 58994.6721 Rate (MB/s) 2.25557
> [cpunode1:68649] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 9 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 10 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 11 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 12 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 13 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 14 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 15 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 16 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68649] MCW rank 17 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 18 62089.5079 Rate (MB/s) 2.3739
> [cpunode1:68711] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 10 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 11 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 12 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 13 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 14 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 15 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 16 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 17 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68711] MCW rank 18 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 19 63588.1264 Rate (MB/s) 2.43119
> [cpunode1:68776] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 10 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 11 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 12 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 13 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 14 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 15 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 16 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 17 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 18 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68776] MCW rank 19 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 20 67097.8382 Rate (MB/s) 2.56538
> [cpunode1:68844] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 11 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 12 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 13 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 14 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 15 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 16 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 17 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 18 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 19 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68844] MCW rank 20 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 21 68642.9757 Rate (MB/s) 2.62446
> [cpunode1:68917] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 11 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 12 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 13 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 14 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 15 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 16 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 17 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 18 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 19 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 20 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68917] MCW rank 21 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 22 71264.2836 Rate (MB/s) 2.72468
> [cpunode1:68991] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 12 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 13 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 14 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 15 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 16 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 17 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 18 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 19 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 20 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 21 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:68991] MCW rank 22 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 23 72876.6138 Rate (MB/s) 2.78633
> [cpunode1:69069] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 12 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 13 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 14 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 15 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 16 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 17 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 18 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 19 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 20 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 21 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 22 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69069] MCW rank 23 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 24 75732.6676 Rate (MB/s) 2.89552
> [cpunode1:69149] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 13 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 14 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 15 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 16 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 17 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 18 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 19 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 20 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 21 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 22 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 23 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69149] MCW rank 24 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 25 77217.0466 Rate (MB/s) 2.95227
> [cpunode1:69232] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 13 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 14 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 15 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 16 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 17 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 18 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 19 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 20 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 21 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 22 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 23 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 24 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69232] MCW rank 25 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 26 80035.7602 Rate (MB/s) 3.06004
> [cpunode1:69318] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 14 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 15 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 16 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 17 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 18 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 19 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 20 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 21 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 22 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 23 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 24 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 25 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69318] MCW rank 26 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> 27 80846.6416 Rate (MB/s) 3.09105
> [cpunode1:69408] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 14 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 15 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 16 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 17 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 18 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 19 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 20 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 21 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 22 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 23 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 24 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 25 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 26 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69408] MCW rank 27 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> 28 83282.5335 Rate (MB/s) 3.18418
> [cpunode1:69500] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 15 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 16 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 17 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 18 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 19 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 20 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 21 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 22 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 23 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 24 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 25 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 26 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 27 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69500] MCW rank 28 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> 29 83988.1592 Rate (MB/s) 3.21116
> [cpunode1:69596] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 15 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 16 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 17 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 18 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 19 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 20 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 21 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 22 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 23 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 24 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 25 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 26 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 27 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 28 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69596] MCW rank 29 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> 30 87241.9164 Rate (MB/s) 3.33556
> [cpunode1:69707] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 16 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 17 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 18 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 19 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 20 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 21 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 22 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 23 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 24 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 25 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 26 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 27 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 28 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 29 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69707] MCW rank 30 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> 31 87821.6811 Rate (MB/s) 3.35773
> [cpunode1:69810] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 16 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 17 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 18 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 19 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 20 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 21 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 22 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 23 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 24 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 25 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 26 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 27 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 28 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 29 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 30 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69810] MCW rank 31 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.]
> 32 90156.4778 Rate (MB/s) 3.44699
> [cpunode1:69914] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 17 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 18 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 19 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 20 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 21 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 22 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 23 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 24 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 25 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 26 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 27 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 28 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 29 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 30 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 31 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:69914] MCW rank 32 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.]
> 33 90112.8468 Rate (MB/s) 3.44533
> [cpunode1:70021] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 17 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 18 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 19 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 20 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 21 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 22 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 23 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 24 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 25 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 26 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 27 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 28 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 29 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 30 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 31 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 32 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70021] MCW rank 33 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.]
> 34 92366.4171 Rate (MB/s) 3.53149
> [cpunode1:70131] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 18 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 19 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 20 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 21 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 22 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 23 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 24 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 25 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 26 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 27 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 28 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 29 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 30 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 31 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 32 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 33 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70131] MCW rank 34 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.]
> 35 91504.9533 Rate (MB/s) 3.49855
> [cpunode1:70244] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 18 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 19 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 20 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 21 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 22 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 23 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 24 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 25 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 26 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 27 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 28 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 29 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 30 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 31 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 32 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 33 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 34 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70244] MCW rank 35 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.]
> 36 94404.1634 Rate (MB/s) 3.6094
> [cpunode1:70360] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 18 bound to socket 0[core 18[hwt 0]]: [././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 19 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 20 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 21 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 22 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 23 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 24 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 25 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 26 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 27 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 28 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 29 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 30 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 31 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 32 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 33 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 34 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 35 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70360] MCW rank 36 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.]
> 37 93616.1843 Rate (MB/s) 3.57927
> [cpunode1:70479] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 18 bound to socket 0[core 18[hwt 0]]: [././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 19 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 20 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 21 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 22 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 23 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 24 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 25 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 26 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 27 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 28 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 29 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 30 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 31 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 32 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 33 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 34 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 35 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 36 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70479] MCW rank 37 bound to socket 1[core 82[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.]
> 38 95857.0121 Rate (MB/s) 3.66495
> [cpunode1:70601] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 18 bound to socket 0[core 18[hwt 0]]: [././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 19 bound to socket 0[core 19[hwt 0]]: [./././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 20 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 21 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 22 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 23 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 24 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 25 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 26 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 27 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 28 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 29 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 30 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 31 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 32 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 33 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 34 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 35 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 36 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 37 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70601] MCW rank 38 bound to socket 1[core 82[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.]
> 39 95242.8041 Rate (MB/s) 3.64146
> [cpunode1:70726] MCW rank 0 bound to socket 0[core 0[hwt 0]]: [B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 1 bound to socket 0[core 1[hwt 0]]: [./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 2 bound to socket 0[core 2[hwt 0]]: [././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 3 bound to socket 0[core 3[hwt 0]]: [./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 4 bound to socket 0[core 4[hwt 0]]: [././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 5 bound to socket 0[core 5[hwt 0]]: [./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 6 bound to socket 0[core 6[hwt 0]]: [././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 7 bound to socket 0[core 7[hwt 0]]: [./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 8 bound to socket 0[core 8[hwt 0]]: [././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 9 bound to socket 0[core 9[hwt 0]]: [./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 10 bound to socket 0[core 10[hwt 0]]: [././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 11 bound to socket 0[core 11[hwt 0]]: [./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 12 bound to socket 0[core 12[hwt 0]]: [././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 13 bound to socket 0[core 13[hwt 0]]: [./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 14 bound to socket 0[core 14[hwt 0]]: [././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 15 bound to socket 0[core 15[hwt 0]]: [./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 16 bound to socket 0[core 16[hwt 0]]: [././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 17 bound to socket 0[core 17[hwt 0]]: [./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 18 bound to socket 0[core 18[hwt 0]]: [././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 19 bound to socket 0[core 19[hwt 0]]: [./././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 20 bound to socket 1[core 64[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 21 bound to socket 1[core 65[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 22 bound to socket 1[core 66[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 23 bound to socket 1[core 67[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 24 bound to socket 1[core 68[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 25 bound to socket 1[core 69[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 26 bound to socket 1[core 70[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 27 bound to socket 1[core 71[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 28 bound to socket 1[core 72[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 29 bound to socket 1[core 73[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 30 bound to socket 1[core 74[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 31 bound to socket 1[core 75[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 32 bound to socket 1[core 76[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 33 bound to socket 1[core 77[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 34 bound to socket 1[core 78[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 35 bound to socket 1[core 79[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 36 bound to socket 1[core 80[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 37 bound to socket 1[core 81[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 38 bound to socket 1[core 82[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][././././././././././././././././././B/././././././././././././././././././././././././././././././././././././././././././././.]
> [cpunode1:70726] MCW rank 39 bound to socket 1[core 83[hwt 0]]: [./././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././././.][./././././././././././././././././././B/./././././././././././././././././././././././././././././././././././././././././././.]
> 40 97441.9980 Rate (MB/s) 3.72554
> ------------------------------------------------
> Traceback (most recent call last):
> File "process.py", line 89, in <module>
> process(sys.argv[1],len(sys.argv)-2)
> File "process.py", line 33, in process
> speedups[i] = triads[i]/triads[0]
> TypeError: 'dict_values' object does not support indexing
> make[2]: [makefile:47: mpistream] Error 1 (ignored)
> Traceback (most recent call last):
> File "process.py", line 89, in <module>
> process(sys.argv[1],len(sys.argv)-2)
> File "process.py", line 33, in process
> speedups[i] = triads[i]/triads[0]
> TypeError: 'dict_values' object does not support indexing
> make[2]: [makefile:79: mpistreams] Error 1 (ignored)
> From: Barry Smith <bsmith at petsc.dev <mailto:bsmith at petsc.dev>>
> Sent: Tuesday, October 10, 2023 10:39 PM
> To: Gong Yujie <yc17470 at connect.um.edu.mo <mailto:yc17470 at connect.um.edu.mo>>
> Cc: PETSc users list <petsc-users at mcs.anl.gov <mailto:petsc-users at mcs.anl.gov>>
> Subject: Re: [petsc-users] Scalability problem using PETSc with local installed OpenMPI
>
>
> Run STREAMS with
>
> MPI_BINDING="-map-by socket --bind-to core --report-bindings" make mpistreams
>
> send the result
>
> Also run
>
> lscpu
> numactl -H
>
> if they are available on your machine, send the result
>
>
>> On Oct 10, 2023, at 10:17 AM, Gong Yujie <yc17470 at connect.um.edu.mo <mailto:yc17470 at connect.um.edu.mo>> wrote:
>>
>> Dear Barry,
>>
>> I tried to use the binding as suggested by PETSc:
>> mpiexec -n 4 --map-by socket --bind-to socket --report-bindings
>> But it seems not improving the performance. Here is the make stream log
>>
>> Best Regards,
>> Yujie
>>
>> mpicc -o MPIVersion.o -c -fPIC -Wall -Wwrite-strings -Wno-strict-aliasing -Wno-unknown-pragmas -fstack-protector -fvisibility=hidden -g -O -I/home/tt/petsc-3.16.0/include -I/home/tt/petsc-3.16.0/arch-linux-c-opt/include `pwd`/MPIVersion.c
>> Running streams with 'mpiexec --oversubscribe ' using 'NPMAX=16'
>> 1 26119.1937 Rate (MB/s)
>> 2 29833.4281 Rate (MB/s) 1.1422
>> 3 65338.5050 Rate (MB/s) 2.50155
>> 4 59832.7482 Rate (MB/s) 2.29076
>> 5 48629.8396 Rate (MB/s) 1.86184
>> 6 58569.4289 Rate (MB/s) 2.24239
>> 7 63827.1144 Rate (MB/s) 2.44369
>> 8 57448.5349 Rate (MB/s) 2.19948
>> 9 61405.3273 Rate (MB/s) 2.35097
>> 10 68021.6111 Rate (MB/s) 2.60428
>> 11 71289.0422 Rate (MB/s) 2.72937
>> 12 76900.6386 Rate (MB/s) 2.94422
>> 13 80198.6807 Rate (MB/s) 3.07049
>> 14 64846.3685 Rate (MB/s) 2.48271
>> 15 83072.8631 Rate (MB/s) 3.18053
>> 16 70128.0166 Rate (MB/s) 2.68492
>> ------------------------------------------------
>> Traceback (most recent call last):
>> File "process.py", line 89, in <module>
>> process(sys.argv[1],len(sys.argv)-2)
>> File "process.py", line 33, in process
>> speedups[i] = triads[i]/triads[0]
>> TypeError: 'dict_values' object does not support indexing
>> make[2]: [makefile:47: mpistream] Error 1 (ignored)
>> Traceback (most recent call last):
>> File "process.py", line 89, in <module>
>> process(sys.argv[1],len(sys.argv)-2)
>> File "process.py", line 33, in process
>> speedups[i] = triads[i]/triads[0]
>> TypeError: 'dict_values' object does not support indexing
>> make[2]: [makefile:79: mpistreams] Error 1 (ignored)
>> From: Barry Smith <bsmith at petsc.dev <mailto:bsmith at petsc.dev>>
>> Sent: Tuesday, October 10, 2023 9:59 PM
>> To: Gong Yujie <yc17470 at connect.um.edu.mo <mailto:yc17470 at connect.um.edu.mo>>
>> Cc: petsc-users at mcs.anl.gov <mailto:petsc-users at mcs.anl.gov> <petsc-users at mcs.anl.gov <mailto:petsc-users at mcs.anl.gov>>
>> Subject: Re: [petsc-users] Scalability problem using PETSc with local installed OpenMPI
>>
>>
>> Take a look at https://petsc.org/release/faq/#what-kind-of-parallel-computers-or-clusters-are-needed-to-use-petsc-or-why-do-i-get-little-speedup
>>
>> Check the binding that OpenMPI is using (by the way, there are much more recent OpenMPI versions, I suggest using them). Run the STREAMS benchmark as indicated on that page.
>>
>> Barry
>>
>>
>>> On Oct 10, 2023, at 9:27 AM, Gong Yujie <yc17470 at connect.um.edu.mo <mailto:yc17470 at connect.um.edu.mo>> wrote:
>>>
>>> Dear PETSc developers,
>>>
>>> I installed OpenMPI3 first and then installed PETSc with that mpi. Currently, I'm facing a scalability issue, in detail, I tested that using OpenMPI to calculate an addition of two distributed arrays and I get a good scalability. The problem is when I calculate the addition of two vectors in PETSc, I don't have any scalability. For the same size of the problem, PETSc costs a lot much time than merely using OpenMPI.
>>>
>>> My PETSc version is 3.16.0 and the version of OpenMPI is 3.1.4. Hope you can give me some suggestions.
>>>
>>> Best Regards,
>>> Yujie
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.mcs.anl.gov/pipermail/petsc-users/attachments/20231010/e978905f/attachment-0001.html>
More information about the petsc-users
mailing list