AuditKIT:用于对大型语言模型和代理系统进行基准测试、判断和比较的统一评估脊柱
arXiv:2610.22511v1 发布类型:新 摘要:评估语言模型和代理需要结合基准准确性、基于判断的评估、运行时性能、工具使用行为和检索质量。接口、度量语义和跟踪格式的差异使这些比较变得复杂,并且可能隐藏智能体工作流中的失败。
浏览该作者署名的报道。
arXiv:2610.22511v1 发布类型:新 摘要:评估语言模型和代理需要结合基准准确性、基于判断的评估、运行时性能、工具使用行为和检索质量。接口、度量语义和跟踪格式的差异使这些比较变得复杂,并且可能隐藏智能体工作流中的失败。
arXiv:2610.22428v1 公告类型:新 摘要:在小型语言模型中,词汇表是最大的部分。在 Gemma 3 270M 中,嵌入表包含 268M 参数中的 168M,并且由于量化方法将嵌入保留为 16 位,因此一旦模型的其余部分被压缩,它也是文件的大部分。我们询问那张桌子实际上买了什么。
arXiv:2610.22454v1 公告类型:新 摘要:在预填充期间通过较少的路由专家运行提示令牌是一种使专家混合 (MoE) 服务更便宜的简单方法,但尚不清楚这会造成什么损害。我们通过对四个 MoE 系列简答问答的令牌、层次和注意力路径干预来定位损害。
arXiv:2610.22468v1 公告类型:新摘要:动作名义结构(ANC)以名义形式表达事件,其参数标记遵循从句或普通名词短语中发现的模式。在本文中,我们研究了不同的语法配置如何影响语言模型对 ANC 和相关结构的学习,以及这些学习偏好如何与自然语言的类型分布进行比较。
arXiv:2610.22507v1 公告类型:新 摘要:命令行界面 (CLI) 代理越来越多地执行长期任务,但现有基准要么假设用户指令在整个执行过程中保持固定,要么在不捕获运行时协作质量的情况下评估任务结果。
arXiv:2610.22515v1 公告类型:新 摘要:我们描述了我们向 ImageEval 2026 的 Subtask~1b 提交的内容。该任务包括从与图像配对的三个候选者中选择单个视觉上有效的陈述,并且采用英语和现代标准阿拉伯语 (MSA)。我们的系统在零样本设置中使用预先训练的 7B 视觉语言模型,无需针对特定任务进行训练或微调。
arXiv:2610.19026v1 公告类型:新 摘要:稀疏注意力减少了主导长上下文 LLM 解码的 KV 缓存流量,但实际方法主要在粗粒度上运行。令牌级别选择提供了更精细的控制,但提出了两个挑战:低维评分可能会丢失查询——准确排名所需的关键结构,而收集分散的选定令牌可以抵消结果……
arXiv:2610.18881v1 公告类型:新 摘要:基于大型语言模型 (LLM) 构建的语音代理现在可以处理客户呼叫,但在受监管的应用程序中完成任务还不够:代理必须遵循法律规定的对话流程。
arXiv:2610.19048v1 发布类型:新 摘要:根据姓名进行记录关联和人口统计推断是社会科学的常规需求。解决这些问题的大多数方法都需要标记的训练数据,而获取这些数据很难或成本高昂。我证明了预训练的语言模型可以准确地执行这两项任务,而不需要特定于任务的训练。
arXiv:2610.19003v1 公告类型:新 摘要:跨语言的抽象摘要仍然具有挑战性,语言质量和事实一致性可能存在差异,特别是在资源匮乏的环境中。我们在大小匹配的英语和孟加拉语 XL-Sum 测试集上提出了八个闭源和开放权重法学硕士的标准化零样本基准。
arXiv:2610.19021v1 公告类型:新 摘要:最近的工作质疑大型语言模型 (LLM) 是否可用于时间事件预测。尽管法学硕士拥有大量预先训练的世界知识,但法学硕士的表现往往不如更简单的专业模型。我们询问这些知识是否真的无法获得,或者当前的方法是否无法以法学硕士可以使用的形式呈现事件预测。
arXiv:2610.19028v1 公告类型:新 摘要:科幻小说被广泛认为具有令人不安的性别特征。本文询问这是否在语言层面上成立,即性别指称如何容易让位于其对应词、中性术语或其他社会类别,以及它是否将这种类型与一般小说区分开来。