(换肤)
语言：
文章编号：29时间：2024-12-19人气：
苹果公司于12月18日发布了一篇博文，宣布与英伟达（NVIDIA）展开合作，推出了开源的RecurrentDrafter（ReDrafter）推测解码方法。这一创新显著提升了人工智能大语言模型（LLM）的推理速度，标志着在AI技术领域的又一次重要进展。
根据苹果公司的声明，ReDrafter已被成功集成进NVIDIA TensorRT-LLM推理加速框架中。在使用NVIDIA GPU的情况下，这一新方法使得每秒生成tokens的速度提高了最高2.7倍。这种提升不仅有效降低了用户的延迟，还显著减少了计算成本，反映出在实际应用中推理效率的提高对企业的重要性。苹果的机器学习研究人员指出，随着LLM在生产应用中的广泛使用，推理效率的提升变得尤为重要，直接关系到企业的运营成本和用户体验。
ReDrafter的技术原理相当先进，采用了RNN草稿模型，并结合了波束搜索（beam search）和动态树注意力（dynamic tree attention）两种技术。这使得开源模型在生成tokens的过程中，每一步最多能够生成3.5个tokens，超越了先前的推测性解码技术的性能。这种高效的解码方式让LLM在处理复杂任务时更加灵活和高效。
为了将ReDrafter有效应用于生产环境，苹果与英伟达进行了深入合作，后者为TensorRT-LLM框架添加了新的运算符，并公开了现有运算符，从而增强了该框架对复杂模型和解码方法的适应性。基准测试的结果表明，利用集成了ReDrafter的TensorRT-LLM框架，在数百亿参数规模的生产模型中，解码速度提升了2.7倍。这一结果不仅降低了用户体验中的延迟，也减少了GPU的使用数量和功耗，为企业在运算效率和成本控制上提供了重要支持。
苹果与英伟达的合作通过ReDrafter的推出，不仅提升了AI大语言模型的推理速度，还为相关技术的进一步发展和应用奠定了基础。这一创新在推动技术进步的同时，也为用户带来了更好的体验，值得业界关注与期待。
内容声明：
1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违法信息，如您发现违法内容，请联系我们进行举报处理！
4、本文地址：https://www.dx008.com/article/29.html，复制请保留版权链接！
腾讯云服务器购买指南一、腾讯云服务器概述腾讯云服务器是腾讯公司提供的云计算产品之一，其主要功能是为用户提供稳定可靠的计算资源，以满足各种规模的企业和个人开发者的需求，腾讯云服务器基于腾讯强大的基础设施和技术实力，能够提供高性能、高可用性和高安全性的云服务，广泛应用于网站托管、移动应用开发、大数据处理等领域，1.产品优势腾讯云服务器具有...。
互联网资讯 2025-02-23 00:19:57
邵阳市森林公安局与邵阳市森林公园是两个不同的机构，前者属于公安机关的一部分，负责维护邵阳市内的森林资源安全；后者则是邵阳市的一个城市公园，位于市区内，关于邵阳市森林公安局，这是一个隶属于邵阳市公安局的专门负责森林资源保护和管理的机构，它承担着打击破坏森林资源违法犯罪活动、开展森林防火宣传与预防工作等职责，为了更好地履行这些职能，该局还...。
互联网资讯 2025-02-22 14:36:28
孝感市森林资源监测中心是孝感市林业局下属的一个重要机构，主要负责该市森林资源的监测、保护和可持续利用工作，以下是对其职能、组织结构、技术手段以及与公众的关系等方面的详细分析，一、职能孝感市森林资源监测中心承担着多项关键任务，包括但不限于森林资源清查、动态监测、资源档案管理等，这些职能旨在全面掌握全市森林资源的数量、质量及其变化趋势，为...。
互联网资讯 2025-02-22 14:06:37
根据IT之家12月22日的报道，最近一些华硕电脑用户在使用系统时遭遇了一次令人困扰的情况，他们发现屏幕底部突然出现了一个占据屏幕约三分之一空间的圣诞花环横幅，伴随着一个名为，ArmouryCrate，的进程在任务管理器中运行，这一突如其来的情况引发了用户的恐慌，许多人误以为自己的电脑感染了恶意软件或受到了勒索病毒的攻击，根据Windo...。
互联网资讯 2024-12-22 13:18:58
根据IT之家12月17日的报道，豪华汽车品牌保时捷近期传出将在中国区进行裁员的消息，涉及正式员工和外包岗位，根据内部员工向第一财经的确认，裁员计划的确存在，预计裁员比例高达30%，这一决策的背景与保时捷在中国市场的销售下滑密切相关，在保时捷于10月底举行的第三季度投资者电话会议上，首席财务官麦思格首次提及，公司将大幅缩减其在中国的经销...。
互联网资讯 2024-12-19 13:37:05
在京东物流2025国际一体化供应链战略发布会上，京东物流进一步明确了出海战略路线图，他们将全面推进全球仓网、快递网、航空网三网并起，为海外客户、中国出海品牌、跨境商家等提供全球一盘货服务，据官方表示，到2025年，京东物流将全面构建海外仓配2，3日达时效圈，通过全球19个国家、超50个海外自营仓，所属国家的客户和消费者将享受高时效物流...。
互联网资讯 2024-12-19 13:17:43