腾讯提出全新LLM解码架构，终结人工解码实现端到端生成

虽然大型语言模型（LLMs）现在非常强大，但其生成文本的质量却依赖于一个高度人工化且经验化的过程：解码超参数的选择。诸如temperature、top-p和top-k等参数，必须通过任务相关的手动调参和后处理一致性检测(Post-hoc Filtering) 来仔细选择。这不仅带来巨大的计算与人力成本，更影响了LLM最终输出的创造性、多样性与事实准确性，所谓的“端到端”其实是名不副实。

针对上述挑战，腾讯 AI Lab联合香港中文大学（深圳）的研究者提出一种新架构AutoDeco——通过自主学习控制解码策略来实现真正"端到端"生成。该成果10月31日登上hugging face日榜第一。在标准Transformer模型上增加了轻量级的预测头，使其在每一步生成中不仅能够预测下一个token的概率分布，还能够动态地预测出与当前上下文相适应的temperature和 top-p 参数。这一设计将解码过程转化为可参数化的token级调控，使得模型能够在一次前向传播中自我调节其采样策略。

在八个基准测试上的实验结果表明， AutoDeco 不仅显著优于默认解码策略，其性能甚至可媲美通过测试集调参得出的理想基线。更重要的是，研究团队发现了一种基于指令的解码控制能力：模型学会了理解自然语言指令，并能逐词（token-by-token）地调整其预测的temperature和 top-p 值，从而为可控制和可交互的LLM解码开辟了一个新范式。