首页 > 科技 >

清华厦大等提出“无限长上下文”技术,Llama、Qwen、MiniCPM性能显著提升

发布时间:2024-11-10 11:03:00来源:
近日,清华大学与厦门大学等高校联合研发的一项名为“无限长上下文”的技术在人工智能领域引起了广泛关注。这一技术的核心在于突破了传统大模型的记忆限制,实现了对超长文本的稳定处理,使得Llama、Qwen、MiniCPM等模型在性能上取得了显著提升。

据悉,“无限长上下文”技术是通过LLMxMapReduce长本文分帧处理技术实现的。该技术将长上下文切分为多个片段,让模型能够并行处理这些片段,并从不同片段中提取关键信息,最终汇总成为最终的答案。这一过程中,团队特别提出了结构化通信协议和上下文置信度校准机制,以实现对跨片段信息更有效的处理。

在实验中,研究团队将文本长度拓展至极高的水平,相当于在100万的大海中寻找关键信息,而LLMxMapReduce技术却能够轻松应对,实现了全绿的表现。这意味着,即使面对极长的文本,该技术也能保持稳定的性能,不会出现掉分的情况。

结合LLMxMapReduce框架后,Llama、Qwen、MiniCPM等模型的表现均得到了显著提升。特别是在业内权威的长文本评测InfiniteBench榜单上,结合了LLMxMapReduce技术的Llama3-70B-Instruct x MapReduce模型以68.66的最高平均分数,超越了包括GPT-4、Claude 2、Kimi-Chat在内的知名闭源和开源模型,以及其他基于Llama3-70B-Instruct的分治方法,如LongAgent和Chain-of-Agents。

这一技术的突破不仅为长文本处理提供了新的解决方案,还为AI在各个领域的应用带来了更多可能性。例如,在法律、医学和金融等领域,AI需要处理大量的文本数据,而“无限长上下文”技术的出现将使得AI能够更高效地处理这些数据,提高决策的效率。

(作者: 阿毛视界)

版权声明:本文为三牛号作者或机构在本站上传并发布,仅代表该作者或机构观点,不代表本站的观点或立场,三牛网仅提供信息发布平台。