用于高效长上下文解码的联合子空间稀疏注意力
arXiv:2610.19026v1 公告类型:新 摘要:稀疏注意力减少了主导长上下文 LLM 解码的 KV 缓存流量,但实际方法主要在粗粒度上运行。令牌级别选择提供了更精细的控制,但提出了两个挑战:低维评分可能会丢失查询——准确排名所需的关键结构,而收集分散的选定令牌可以抵消结果……
把论文视为需要核对的研究主张:明确任务、测试数据、基线和失败案例。预印本不等同于经过同行评审的证据,基准进步也不一定能迁移到实际场景。
arXiv:2610.19026v1 公告类型:新 摘要:稀疏注意力减少了主导长上下文 LLM 解码的 KV 缓存流量,但实际方法主要在粗粒度上运行。令牌级别选择提供了更精细的控制,但提出了两个挑战:低维评分可能会丢失查询——准确排名所需的关键结构,而收集分散的选定令牌可以抵消结果……
arXiv:2610.19011v1 公告类型:新 摘要:实用分子优化 (PMO) 基准标准化了分子优化中的评估,但它建立在简单的基于属性的预言之上,无法捕获基于结构的药物设计。
arXiv:2610.18881v1 公告类型:新 摘要:基于大型语言模型 (LLM) 构建的语音代理现在可以处理客户呼叫,但在受监管的应用程序中完成任务还不够:代理必须遵循法律规定的对话流程。
arXiv:2610.19052v1 公告类型:新 摘要:基于视频的远程生理测量(RPM)具有广泛的应用,而视觉语言模型(VLM)为未来人类感知智能系统实现端到端生理监测提供了一个有前途的机会。
arXiv:2610.19048v1 发布类型:新 摘要:根据姓名进行记录关联和人口统计推断是社会科学的常规需求。解决这些问题的大多数方法都需要标记的训练数据,而获取这些数据很难或成本高昂。我证明了预训练的语言模型可以准确地执行这两项任务,而不需要特定于任务的训练。
arXiv:2610.18878v1 公告类型:新 摘要:训练后推理 LLM 通常需要在昂贵的监督和计算效率低下之间进行权衡:监督微调通常需要推理跟踪,这是数据效率低下的,因为在许多应用程序中只有提示答案元组,缺乏真实的思想链 (CoT) 序列。
arXiv:2610.18877v1 公告类型:新 摘要:时间序列语言模型通常使用标签、标题或问答对将数字信号与语言对齐。尽管这种监督鼓励语言表示,但并没有明确要求它们保留有关底层时间序列信号如何演变的信息。
arXiv:2610.18883v1 公告类型:新 摘要:用于策略蒸馏(OPD)的代币选择方法使用不同的信号(包括不确定性、师生分歧和不匹配方向)对学生访问的位置进行优先级排序。
arXiv:2610.19020v1 公告类型:新 摘要:离散扩散模型已成为生成文本和其他分类数据的自回归模型的领先替代方案,但其理论基础仍然不如连续模型那么发达。
arXiv:2610.19007v1 公告类型:新 摘要:世界模型是推理和规划的强大手段,但许多这些动作条件预测模型都是高维的且计算成本昂贵。这些挑战限制了规划者可以评估的候选行动的数量。