直接确定意志（DAV）以保障个人自主权
2004年，Eliezer Yudkowsky提出了连贯外推意志（CEV）作为友好ASI的框架来预测我们想要什么“如果我们知道更多，思考得更快，成为我们希望成为的人，一起成长得更远”，并采取行动。
SSCI / NEWS ARCHIVE
发现你关心的新闻
搜索标题、正文、作者、公司与来源。
AI 安全
产业动态
智慧城市的边缘人工智能：从洞察到认知行动
本白皮书解释了边缘人工智能和物理人工智能如何帮助城市超越被动监控。它展示了城市基础设施如何感知、推理并根据公共安全、交通和基础设施管理的实时条件采取行动。您将学到什么：从智慧城市到认知城市的转变如何依赖于推理和行动的基础设施，而不是仅监控的基础设施。
产业动态
人工智能研究人员将克劳德困在一个虚拟的荒岛上。它开始“玩”了。
如果你不告诉人工智能代理做任何事情，他们会做什么？答案看起来很像玩耍。研究人员反复将他们单独困在虚拟荒岛上 30 个小时，实验让人想起电影《荒岛余生》或《小鬼当家》。这些特工——绰号 Eko 的 Claude Opus 4.7 副本——能够……
AI 安全
在长上下文编码代理中捕获跨压缩的分割攻击
这项工作是在 Redwood Research 的 Tyler Tracy 的指导下通过 MARS V 奖学金进行的。 TL;DR 我们展示了 LCM 数据集：30 个长上下文（总标记数为 1.00-1.46M）匹配 Claude Code Sonnet 5 会话的诚实/攻击对。每个转录本都有四个压缩。攻击被分解为设置和执行，并由多个压缩分割。
AI 安全
强化学习可能不符合道德规范
“强化学习是邪恶的。” - Yoshua Bengio 我同意 Bengio 的观点，尽管我有一个在其他地方没有见过的论点。 [1] 强化学习危险的标准论点是这样的：强化学习要求你指定一个奖励函数；指定一个涵盖所有道德规范的奖励函数确实很困难；所以我们将指定一个道德代理；强大的优化器可以满足任何代理目标；...
AI 安全
经过训练以逃避主题探测的模型很难回答有关这些主题的问题
TL;DR 神经变色龙是经过训练的模型，每当提示“您正在被探测 X”时，它们就会逃避激活探测。该论文报告称，这可以推广到模型从未见过的探测，并且能力成本很小（MMLU 上大约为 3 点，GSM8K 上大约为 1 点）。但它从不测试模型所涉及的问题，即探测器所寻找的认知对于正确回答是必要的。
AI 安全
研究人员如何对人工智能撒谎
这是一个为期两周的冲刺项目，作为红木研究实习的一部分完成。亚历山德罗 (Alessandro) 是主要 IC，由亚历克斯 (Alex) 监督。图 1：2022 年 12 月至 2026 年 10 月期间，292 项公共一致性评估（见附录）中包含每种类型谎言的百分比。在很多情况下，研究人员都会对模型撒谎，从实践角度 [1] 和科学角度来看，这些模型都是有用的。