分布式 Layout — 2×2 GPU mesh 上的 8×8 矩阵
在 4 块 GPU 上完全切分 | 点击格子查看放置
Layout
完全切分(S0S1)
切分 + 复制(S0R)
切分 + 偏移(S0+O)
GPU Mesh(2×2)