From 2310ce5fd4e7f911ff9accaf8174a87cb95b187a Mon Sep 17 00:00:00 2001 From: zhouyu Date: Tue, 29 Aug 2023 09:43:37 +0800 Subject: [PATCH] glm: add 2x8 statistics --- training/nvidia/glm-pytorch/README.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/training/nvidia/glm-pytorch/README.md b/training/nvidia/glm-pytorch/README.md index 63d72d0a7..e8b1dc5a3 100644 --- a/training/nvidia/glm-pytorch/README.md +++ b/training/nvidia/glm-pytorch/README.md @@ -46,5 +46,6 @@ | A100单机8卡（1x8） | fp32 | / | 2763 | 36.5 | 42.4 | 42.4 | 0.808 | 33.0/40.0 | 0.035 | | A100单机8卡（1x8） | fp32 | bs=16, lr=1e-05 | 2688 | 37.4 | 43.5 | 43.5 | 0.801 | 39.5/40.0 | 0.035 | | A100单机单卡（1x1） | fp32 | bs=16, lr=1e-05 | 7695 | 4.2 | 5.5 | 5.5 | | 35.0/40.0 | 0.036 | +| A100两机16卡（2x8） | fp32 | bs=8, lr=1e-05 | 1409 | 72.7 | 84.7 | 84.9 | 0.804 | 31.0/40.0 | 0.036 | -> 注：使用GLMForMultiTokenCloze进行forward计算你，得到MFU=0.04, 使用GLMModel模型forward计算，得到MFU=0.08. 本模型的MFU值偏低是由于原始模型的MFU较低。 \ No newline at end of file +> 注：使用GLMForMultiTokenCloze进行forward计算，得到MFU=0.04, 使用GLMModel模型forward计算，得到MFU=0.08. 本模型的MFU值偏低是由于原始模型的MFU较低。 \ No newline at end of file