字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)開源一項(xiàng)MoE架構(gòu)優(yōu)化技術(shù)

字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)近日開源一項(xiàng)名為COMET的MoE架構(gòu)優(yōu)化技術(shù)，可將大模型訓(xùn)練效率提升1.7倍。論文顯示，該技術(shù)已實(shí)際應(yīng)用于字節(jié)的萬卡集群訓(xùn)練，實(shí)現(xiàn)數(shù)百萬GPU小時(shí)訓(xùn)練算力的節(jié)省。