安全证据依赖威胁模型、评估设置和部署环境。区分已观察到的失败与假设风险，并结合作者报告的局限性理解防护措施。
人工智能暂停三年可以换来 1000 年的人工智能安全工作。请参阅：https://1000yearsofaisafety.com 2025 年整个 AI 安全领域工作的年数中，暂停会产生多少 AI 安全工作。政府禁止新的大型训练运行，并要求美国三大实验室将 GPU 和研究人员转向安全研究。我们开发了一个人工智能暂停模型，可以估计它产生了多少人工智能安全研究。
格雷厄姆·格林 (Graham Greene) 将 G. H. 哈代 (G. H. Hardy) 1940 年出版的书《数学家的道歉》描述为对成为一名创意艺术家的最佳描述。哈代有很多朋友，兴趣广泛，其中包括板球比赛，并且对穷人抱有同情心。但正是他在纯数学方面的创造性工作给了哈代“我一生中最大的永久幸福”。 “数学，”C. P.
2026 年 7 月，韩国围棋选手申真瑞 (Shin Jin-seo) 以 2-1 击败 KataGo，仅 [1] 2 子让分（申真瑞有利）。我认为这非常令人惊讶，并在 LessWrong 和 Twitter 上发帖询问如何解释这一点。我没有得到任何完全满意的答案，所以我决定花一天时间研究一下并写下我的理解。
我是奥地利人，用德语写这篇文章。英文是机器直译，没有重写。现在到处都在讨论对人类造成的灾难性伤害以及各种场景。但其他百分比并没有按照结果进行详细映射，就像核情景的处理方式一样，人们会更仔细地观察这一点。这是可能的。人们不深入，就不会使用这种方法。
简介 我最近观看了 Adam Ruins Everything 的 Adam Conover 制作的视频“‘人工智能存在风险’是为了分散我们的注意力而发明的”，视频中他表达了自己的观点，解释了为什么他认为人工智能造成的灭绝威胁的说法被用来转移人们对人工智能造成的其他危害的注意力。我看到这种说法被颠倒过来，所以我想我应该借此机会调查一些说法并提出反驳。
2004年，Eliezer Yudkowsky提出了连贯外推意志（CEV）作为友好ASI的框架来预测我们想要什么“如果我们知道更多，思考得更快，成为我们希望成为的人，一起成长得更远”，并采取行动。
这项工作是在 Redwood Research 的 Tyler Tracy 的指导下通过 MARS V 奖学金进行的。 TL;DR 我们展示了 LCM 数据集：30 个长上下文（总标记数为 1.00-1.46M）匹配 Claude Code Sonnet 5 会话的诚实/攻击对。每个转录本都有四个压缩。攻击被分解为设置和执行，并由多个压缩分割。
“强化学习是邪恶的。” - Yoshua Bengio 我同意 Bengio 的观点，尽管我有一个在其他地方没有见过的论点。 [1] 强化学习危险的标准论点是这样的：强化学习要求你指定一个奖励函数；指定一个涵盖所有道德规范的奖励函数确实很困难；所以我们将指定一个道德代理；强大的优化器可以满足任何代理目标；...
TL;DR 神经变色龙是经过训练的模型，每当提示“您正在被探测 X”时，它们就会逃避激活探测。该论文报告称，这可以推广到模型从未见过的探测，并且能力成本很小（MMLU 上大约为 3 点，GSM8K 上大约为 1 点）。但它从不测试模型所涉及的问题，即探测器所寻找的认知对于正确回答是必要的。
这是一个为期两周的冲刺项目，作为红木研究实习的一部分完成。亚历山德罗 (Alessandro) 是主要 IC，由亚历克斯 (Alex) 监督。图 1：2022 年 12 月至 2026 年 10 月期间，292 项公共一致性评估（见附录）中包含每种类型谎言的百分比。在很多情况下，研究人员都会对模型撒谎，从实践角度 [1] 和科学角度来看，这些模型都是有用的。
摘要 人工智能助理可能会建议如何接近朋友，然后被要求解释该朋友的反应。这种反应可能看起来像是对助理先前对情况的假设的独立确认，尽管推荐的方法可能在产生这种反应中发挥了作用。
