泛普软件
(来源:上观新闻)
第三方测评:代🔼码能力🧣独占鳌头,综🔼合排名紧🕋🇸🇷追顶级 就在🇮🇨OpenAI G🧰🏜PT-5.5🔐🈯发布不久后,De🤲🍖epSe📰🇮🇸ek-V4预览版🇹🇩🇾🇹正式上线并6️⃣同步开源💊,涵盖参数总量1↖👨👨👦👦.6万亿📒🚷(激活参🍷🤳数49B💈🇬🇧)的V🤷♀️4-Pro,🌟以及参数总量2🏩🔛840亿(🎱激活参🍔数13🇬🇮B)的🌧😰V4-F😕💇♂️lash,🇯🇲📹两款模型均支持1🎴👀00万to🥶😭ken超长上下👩👩👧👦📬文窗口🐖,采用MIT🇾🇪🧳开源协议🔼👀。
一个KV Pa🌌💧cket(K😹V文件🛁包)的结💵🥏构就是:头部适配👨👧器 + 文档🐖🇰🇳正文 + 尾📲💯部适配器🇰🇷。在数学、STEM🧡及竞赛级👨🎓🕸代码评测中,V🏦7️⃣4-Pro💄超越目前已⏱👹公开评测的🐀😣所有开源模型,🇲🇿🍉包括月之👨👩👧🕶暗面的Kimi 🎫💖K2.6👊 Thi💧nking和智谱🥼㊗GLM-5.1👹 Thinki🚂🛸ng,并取得🚦♋比肩顶级闭源模型🎾🎈的成绩🙎♂️🇹🇰。
在此之外,V4🏋️♀️泛普软件还引入🏀📤mHC流形🦞😷约束超连接(升🖌级传统残差连接💉,将信号🇸🇪传播约🔊🕟束在稳定流☪形上)以及M🚍🚹uon优🇧🇷⬇化器(替代传💳统AdamW🧡,适配Mo🐣🇱🇧E大模🆚🈺型与低精度训练)💡🇨🇲。