SSCI / SAFETY

AI 安全、对齐与治理新闻 — 第 2 页

关注对齐、治理、可信系统与技术的社会影响。

理解这一领域

安全证据依赖威胁模型、评估设置和部署环境。区分已观察到的失败与假设风险，并结合作者报告的局限性理解防护措施。

理解 AI 智能体的工具调用循环、与工作流的区别，以及部署前应该怎样评估可靠性。

从研究主张、数据、基线、评估预算、不确定性与可复现性入手，核对一篇 AI 论文到底证明了什么。

频道来源时间排序

共 36 篇报道时间均为北京时间

TLDR：在我看来，我解释了技术人工智能对齐问题是什么以及它的核心困难是什么。这一观点同时借鉴了理论计算机科学/机器学习理论的经典传统、分析哲学的思想以及起源于机器智能研究所/LessWrong的观点。

Alignment Forum·10-18 20:18

非常感谢艾布拉姆·德姆斯基 (Abram Demski) 在物质和智力上支持这项研究。还要感谢 Brian Berns、Roman Malov、Gurkenglas 和 Lorxus 的宝贵对话。引言尽管人工智能理论一致性的可修正性处于核心地位，但似乎没有人能真正就什么是一致的。

Alignment Forum·10-18 07:08

arXiv 链接：https://arxiv.org/abs/2610.02557 摘要：人工智能辩论是实现可扩展监督的一种有前途的方法，它寻求利用两个强大的人工智能之间的辩论，将复杂的问题分解为可以轻松直接判断的更简单的主张。

Alignment Forum·10-16 10:48

Alignment Forum·10-15 23:33

“基于重量的小型复制器”可能会迎来新一代计算机蠕虫。

Ars Technica·10-14 20:55