電競體育3月17報道 16日月之暗面Kimi發(fā)布技術報告，對大模型十年沒有變化的核心結構殘差連接行重新設計，使每一層能夠選擇性地關注此前各層輸出，而非統一求和，48B模型訓練效率提升1.25倍，被行業(yè)解讀為提前預告了下一代模型的關鍵模塊。

月之暗面三位聯合創(chuàng)始人楊植麟、吳育昕、周昕宇帶領數十名研究員完成了這項研究。

論文發(fā)布后，馬斯克評價Kimi的研究令人印象深刻，前OpenAI研究科學家Andrej Karpathy表示該研究真正踐行了“Attention is All You Need”的理念，推理之父、前OpenAI研究副總裁Jerry Tworek認為，深度學習2.0來了。（澎湃新聞）