刚刚,前DeepSeek V1作者、DeepSeek-VL项目负责人 Tony Zhang ,正式公布了自己的新创业项目: Linger 。
具体来说,一块12GB显存的RTX 3060显卡,就能跑起一个125B参数的 Qwen3.8-Flash-Next ,并且 是45.5 tokens/秒的生成速度。
1960年代,计算是中心化的,直到PC将权力交到每个人手中。如今,AI在数据中心训练,然后以token的形式租给你。
我们相信智能应该是分布式的。你的上下文、你的数据,以及驱动它们的智能,都应该完全由你拥有。
Linger会在本地读取你的收件箱、日历、聊天记录和会议,每晚自动将这些信息整理成个人知识库 (Wiki) ,供所有Agent查询。
在衡量长期对话记忆能力的LoCoMo基准测试中, Linger的准确率达到了95% ,超过了Mem0、MemOS等多个记忆增强型AI系统。
它会默默观察你的信息流,根据事件的重要性和紧急性决定何时提醒你。周一收到客户邮件,要求周五前给报价,它不会立刻打扰,而是等到周三早上再弹出提醒。
比如,当它提醒你一张发票快到期了,你回复说「上周就收到了,应该当时就告诉我」。系统会记下一个线索。
如果下一次另一张发票出现类似情况,你再次表达了相同的偏好,系统就会自动生成一条规则: 「供应商发票→立即提醒」 。
反之,如果你连续两次对「快递提醒」表现出不感兴趣 (比如直接忽略或回复「不用告诉我」) ,它也会学会以后保持沉默。
你也可以直接下指令,一次性教会它。比如告诉它:「客户的回复,要立刻通知我」,或者「晚上9点后,会议变更这种事不用马上说」。
就是开头说的,Linger能直接使用你电脑上已经登录的Chrome、各种App,无需重新配置。
你下达一个复杂任务时,Another Me会调用或创建不同职能的Agent,协同完成工作。
Linger的重点是把模型和harness一起优化:12GB显卡就能本地跑125B模型,不按token付费,数据也不出本机。
从产品定位上看:DS-Bot的核心是Bot与Bot、Bot与群组的协作;Linger的核心是人与自己的Agent、Agent与本地环境。
让消费级硬件运行千亿大模型,Linger的核心技术是一个名为 PolyStrata 的MoE推理引擎。
对于一个庞大的MoE (专家混合) 模型,PolyStrata会把最常用、最活跃的「专家模块」放在最快的GPU显存里,将不那么常用的放在内存中,而使用频率最低的则放在SSD固态硬盘上。
当模型需要调用某个专家时,系统会动态地在GPU、内存和SSD之间移动数据。这样一来,就不需要把整个几十上百GB的模型全部塞进有限的显存里。
根据官方数据, 一个125B参数的Qwen3.8-Flash-Next模型,在一台配备12GB RTX 3060和64GB内存的电脑上,可以实现45.5 tokens/秒的生成速度。
为了让用户更方便地用上本地大模型,Linger还做了一个「模型自动驾驶 (Model Autopilot) 」功能。
它会自动检测你的硬件配置 (GPU、显存、内存) ,然后从49个语言模型、两种推理引擎、多种量化方案和不同上下文长度的组合中,为你推荐并安装性能最强的模型。
这意味着,你的游戏本或MacBook,将拥有一个真正强大的、7×24小时待命、没有token费用、并且数据完全不出本地的AI大脑。
Linger背后,是一支有着深厚技术背景的团队,其创始人Tony Zhang的履历尤为亮眼。
Tony Zhang本科毕业于浙江大学,2019年在香港科技大学取得博士学位,随后加入 微软亚洲研究院 (MSRA) ,长期从事计算机视觉和生成模型研究,是VQ-Diffusion、Rodin 3D数字人等多个知名项目的作者。
在这里,他不仅参与了早期语言模型 DeepSeek LLM V1系列 的研发,更是视觉语言大模型 DeepSeek-VL的项目负责人 (Project Lead) 。这款模型在真实世界场景下的图像、文档、图表理解能力备受好评。
离开DeepSeek后,Tony Zhang进入浙江大学任教,担任百人计划研究员、博士生导师,并创立了Simplex AI。
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1
Loading comments…