12 月 30 日消息，字節(jié)跳動旗下豆包大模型今日對外公布了 2024 年全領(lǐng)域的技術(shù)進展，宣稱自 5 月 15 日首次亮相的 7 個月以來，在通用語言、視頻生成、語音對話、視覺理解等方面模型能力已經(jīng)跨入國際第一梯隊。

據(jù)介紹，截至 2024 年 12 月，最新版豆包通用模型 Doubao-pro-1215 綜合能力較 5 月提升 32%，已全面對齊 GPT-4o，在數(shù)學(xué)、專業(yè)知識等部分復(fù)雜場景任務(wù)中，效果表現(xiàn)甚至更好，同時其推理服務(wù)價格僅為 GPT-4o 的八分之一。其經(jīng)過海量數(shù)據(jù)優(yōu)化及模型架構(gòu)的創(chuàng)新，包括提升模型稀疏度、引入強化學(xué)習(xí)等，從而使該模型理解精度、生成質(zhì)量大幅提升。

豆包還首次對外披露了其大模型 300 萬字窗口的長文本能力。據(jù)介紹，其能夠一次輕松閱讀“上百篇”學(xué)術(shù)報告，每百萬 tokens 處理延遲僅 15 秒。據(jù)IT之家了解，其背后包括 STRING 等上下文關(guān)聯(lián)數(shù)據(jù)算法，能夠大幅提升 LLM 利用海量外部知識的能力，稀疏化及分布式方案將時延降到十秒級。