Astra前两天刚刚凭借一项惊人能力刷屏AI圈——不用训练、不算梯度,直接修改另一个AI模型的权重。
MIT团队宣称,Astra仅修改Qwen3.5-0.8B的0.016%权重,就让数学成绩从7.9%暴涨至48.1%,相当于提升到原来的6倍多。
质疑者叫Matthew Honnibal,spaCy的作者、AI公司Explosion的联合创始人。
第一次,他可能用了一个特殊的道具;下一次,他会向你展示道具并无特殊,但他自己藏起了东西;第三次,可能又利用了某种强迫选择。
当你观看表演时,你会假设只有一种技术,所以每当魔术师表演一次,似乎都推翻了你对其工作原理的假设。
无论是识别一个小型网络的功能,还是修复一个大语言模型的数学能力,都源于同一种「读脑」神技。
首先,在识别小型网络任务、修复一个卡住的赛车模型等实验中,Astra确实做到了「只看原始权重」。
在这种模式下,Astra处理的模型参数规模都非常小,在 1.7万到17.2万 之间。这确实很了不起,但距离真正理解一个现代大语言模型,还有很长的路。
取而代之的是,Astra被授权使用Python编程,并且最多可以进行50次前向测试。每次允许模型处理一批练习题,通过观察模型的表现来分析和修改权重。
但事实是,在处理真正的大语言模型时,Astra更像一个「场外教练」,需要通过编程、运行、观察等一系列工程手段来介入。
Honnibal也坦言,让一个AI模型被提示去设计并执行人类机器学习工程师才能完成的任务——编写代码片段来分析甚至直接修改网络权重——这本身就是一个巨大的进步。
这说明,今天的顶尖大模型,已经具备了相当复杂的工具使用和推理能力,能够作为一个「AI工程师」来诊断和修复其他模型。这本身就是一项值得关注的工程突破。
原文: https://honnibal.dev/blog/astra-read-write-misleading
分别在多伦多大学和哈佛医学院读书的阿卜杜拉兄弟俩做了一个研究,发现58%的名校AI领域教师受巨头直接资助。
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1
Loading comments…