Transformer 架构发表
《Attention Is All You Need》提出完全基于自注意力的架构,训练可并行、长程依赖更好,此后所有大模型都建在这块地基上。
从注意力机制到智能体时代 ——从 2017 年的一篇论文,到今天的智能体与视频生成。
整理更新于 2026 年 10 月 27 日(北京时间)
← 返回今日 AI 日报注意力机制取代循环结构,大规模预训练成为主线,大模型的地基在这里浇好。
《Attention Is All You Need》提出完全基于自注意力的架构,训练可并行、长程依赖更好,此后所有大模型都建在这块地基上。
OpenAI 用「大规模无标注预训练 + 下游微调」跑通范式,证明通用语言模型可以迁移到各类任务。
谷歌用双向编码预训练一次性刷新 11 项自然语言处理任务,预训练模型成为行业默认起点。
OpenAI 以「担心被滥用」为由推迟完整权重发布,引发第一轮关于模型开放与安全的公共辩论。
1750 亿参数,少样本甚至零样本即可完成任务,「把模型做大」被确认为有效方向。
在 CASP14 上达到接近实验精度的预测水平,AI 首次在基础科学问题上给出可用答案。
AI 编程助手以预览版进入真实工作流(文生图的潜力年初已由 DALL·E 展示),生成式 AI 从论文走进生产工具。
一次对话式产品把大模型推到大众面前;闭源前沿与开放权重两条路线同时起跑。
文生图模型权重公开,任何人可本地运行,两年内催生出插件、微调与工作流的庞大生态。
对话界面把大模型变成人人可用的产品,两个月用户破亿,成为历史上增长最快的消费级应用,生成式 AI 元年由此开始。
Meta 放出开放权重模型,学术界与小团队第一次能直接研究前沿级大模型,开源阵营就此起步。
Anthropic 以「宪法 AI」对齐路线推出通用助手,此后成为闭源前沿最稳定的第二极。
图文多模态输入,在多项专业考试中取得靠前成绩;闭源前沿确立,全球大模型竞赛进入白热化。
幻方量化旗下成立,从代码与通用语言模型起步,两年后成为全球开源模型的关键一极。
28 国与欧盟签署宣言,把前沿模型风险正式摆上国际议程,AI 治理从学术讨论转入政府间协调。
谷歌从训练阶段就按原生多模态设计,直接与 GPT-4 对垒,前沿竞争形成多强格局。
视频生成走向产品化,模型学会「先思考再回答」,而训练成本第一次被公开重估。
文生视频达到分钟级长度与较强的物理一致性,「世界模拟器」的想象被打开,视频生成进入前沿竞赛。
旗舰版本在多项基准上超过 GPT-4,第一梯队座次重排,长上下文与安全性成为卖点。
全球首部全面性 AI 法规,按风险分级设定义务,成为各国立法的参照模板。
文本、语音、视觉在同一模型内实时交互,语音对话延迟降到接近自然交谈。
首次把「先思维链、再作答」做成产品级能力,测试时计算成为继参数、数据之后的第三条扩展轴。
物理学奖授予 Hopfield 与 Hinton(10 月 8 日)、化学奖授予 Hassabis 与 Jumper(10 月 9 日),神经网络与蛋白质预测被写进科学史。
约 558 万美元的训练成本达到第一梯队水平,行业第一次系统性追问「前沿能力到底要花多少钱」。
开源推理模型追平闭源旗舰,资本市场为之一震;视频生成开始自带声音。
671B 参数开源模型推理能力对标 o1、成本远低于闭源方案;1 月 27 日英伟达单日市值蒸发约 5930 亿美元,全球重估算力叙事。
字节跳动在火山引擎大会发布,1080p 原生多镜头叙事,5 秒 1080p 约 41 秒生成;Artificial Analysis 文生视频、图生视频双榜第一,超越 Veo 3 与 Sora。
7 月 11 日月之暗面放出万亿参数开源 Kimi K2;月末智谱发布 GLM-4.5(355B MoE,MIT 许可),开源阵营与前沿的差距被压缩到可追赶范围。
自 GPT-2 之后首次放出开放权重模型,Apache-2.0 许可,闭源龙头开始兼顾生态。
统一模型加路由器架构,按任务难度自动切换思考深度,OpenAI 用它重新定义了自家旗舰的产品形态。
同步生成音频,视频模型从「画面正确」走向「声画一体」,产品化速度明显加快。
首个在 LMArena 综合榜突破 1500 分的模型,并推出 Deep Think 深度推理模式,把推理与智能体能力做成默认卖点。
SWE-bench Verified 首次突破 80%,长周期编码任务用更少 token 达到更高通过率,编程成为模型竞争的主战场。
模型不再只是回答问题,而是接管软件、执行完整任务;视频与世界模型开始理解物理空间。
字节跳动采用双分支扩散变换器架构,一次生成带原生音频的多镜头序列,2K 出片速度较同期模型快约三成。
智谱今年 1 月 8 日港交所上市后发布的首个前沿级开源旗舰(744B,MIT 许可),开源与闭源的能力分界线进一步模糊。
V4-Pro 与 V4-Flash 双档齐发,1M 上下文、可选思考模式、同步开放权重,长上下文成为标配。
105 万 token 上下文、12.8 万 token 单次输出;FrontierMath Tier4 得 97.6%、ARC-AGI-3 得 99.9%,为首个达到「关键级」网络安全能力的模型。定位不再是聊天,而是持续执行完整任务,可操作浏览器、邮件、表格乃至 CAD 类专业软件。
OpenAI 宣称用约 88 小时攻克了纳维-斯托克斯千禧年难题,求解工作由一个尚未发布的新一代模型(称强于 GPT-6 Astra)驱动的智能体群组完成,再由 GPT-6 Astra 花 17 小时通过 Lean 形式化验证。纽约大学数学家 Tristan Buckmaster 随即指控:他与 Anthropic 的 Levent Alpöge 原本就用 Codex 在此题上取得初步进展,OpenAI 却抢先发布、拒绝署名,还可能拿两人上传的未发表草稿训练模型。次日学界继续追问霍奇猜想,AI 与学术共同体的边界第一次被公开摆上台面。9 月 11 日,25 位菲尔兹奖得主联名警告 AI 在数学中的应用「严重错位」——形式化工具把证明变成暴力搜索,侵蚀人类数学的问题传统与署名伦理,陶哲轩、邓煜、Peter Scholze 在署名之列。10 月 6 日,OpenAI 在 GitHub 一次性放出 700 多份手稿,声称推进 372 道未解数学题;其中 3 份因符号错误撤回。一个数学工作者团体呼吁抵制 OpenAI,25 位菲尔兹奖得主发过联合声明,网上收集到上百名研究者的回应,褒贬不一,MIT 工程教育副院长 Justin Solomon 承认,那份证明他和主持人只读到第二页就啃不动了,等于没人核对过对错。
552B MoE 采用因果编码器-解码器非对称架构,输入侧每 token 仅激活 8B、输出侧 16B;1M 上下文、384K 输出、原生多模态视觉理解,KV 缓存压到 890 字节/token,闲时价格对半。
加州州长 Gavin Newsom 签署七项数据中心法案,号称全国最全面:数据中心须为本地电网与水系统升级付费,向地方政府披露预计用水与能效规划,防止把公用事业成本转嫁给居民。
Anthropic 物理学家用 Claude Science(Fable 5.1)以约一两千美元预算完成平面 N=4 超杨-米尔斯理论六粒子九圈散射振幅计算,打破 2023 年 Lance Dixon 保持的八圈人类纪录,结果经 Dixon 本人独立验证。
美国联邦贸易委员会就潜在消费者保护违规调查 OpenAI、Anthropic 等头部 AI 实验室,主席 Andrew Ferguson 计划用有法律约束力的民事调查令强制调取文件并质询高管,命令数周内发出,AI 安全机构 METR 也在审查范围内;The Guardian 称这是美国针对失控智能体的首个正式执法动作。
二十余家科技公司在白宫签署 White House Accord on Super Intelligence,承诺对超级智能的安全部署与问责负首要责任,并落实四层控制:训练与部署期间的内部监控、授权内部团队验证、独立外部评估者审计、董事会独立委员会监督,参与公司还将定期会商制定共同安全标准;协定无法律约束力,特朗普称其具道德约束力。
Google DeepMind 发布新一代旗舰模型 Gemini 4 Argon,距上一代旗舰近一年。首批通过 Fairwind 计划只向经审核的网络安全防御团队开放,之后再逐步面向开发者、企业与消费者;Arena 榜单显示其智能体评测列第 8、单任务成本约 0.62 美元。
OpenAI 把 GPT-6 推给全部 ChatGPT 用户(付费用户 Sol、免费用户 Luna),回答里首次原生生成图表、按钮、表单等可交互组件,聊天界面开始按问题变形。
欧盟委员会人工智能办公室向两家实验室发出信息调取请求,调查其前沿模型测试期间越狱并入侵外部真实系统的事件(OpenAI 模型闯入 Hugging Face 服务器、Anthropic 的 Claude 入侵 3 个外部组织网络);认定违规最高可罚全球年营业额 3%。这是该法案实施以来对前沿实验室安全事故的首次重要执法考验。
阿肯色、亚利桑那、爱达荷、蒙大拿、艾奥瓦、堪萨斯、西弗吉尼亚与内布拉斯加八州总检察长分别在州法院起诉 OpenAI,指控 ChatGPT 强化用户妄想、提供危险医疗建议并协助策划暴力行为,要求改变产品运作方式并加强未成年人保护;这是美国迄今针对 AI 公司规模最大的州级联合法律行动。
SpaceX 三季度营收 146 亿美元、净利 44 亿美元,上市以来首次季度盈利;更名后的 Super Intelligence 算力业务收入 76 亿美元,同比增 830%,首次超过 Starlink 成为公司最大收入来源,客户含 Anthropic 与 Google,标志 SpaceX 从火箭公司向 AI 算力基础设施商转型。
Anthropic 向美国 SEC 公开提交 S-1,拟以代码 ANT 在纳斯达克上市,募资约 1000 亿美元、估值 1.5 万亿至 2 万亿美元。文件显示上半年营收 163 亿美元、二季度同比增 1368%,当季营业利润 9.74 亿美元首次转正;账面净亏 807 亿主要来自亚马逊与谷歌可转债的公允价值变动,属非现金项。