清华厦大等提出“无限长上下文”技术,Llama、Qwen、MiniCPM性能显著提升
据悉,“无限长上下文”技术是通过LLMxMapReduce长本文分帧处理技术实现的。该技术将长上下文切分为多个片段,让模型能够并行处理这些片段,并从不同片段中提取关键信息,最终汇总成为最终的答案。这一过程中,团队特别提出了结构化通信协议和上下文置信度校准机制,以实现对跨片段信息更有效的处理。
在实验中,研究团队将文本长度拓展至极高的水平,相当于在100万的大海中寻找关键信息,而LLMxMapReduce技术却能够轻松应对,实现了全绿的表现。这意味着,即使面对极长的文本,该技术也能保持稳定的性能,不会出现掉分的情况。
结合LLMxMapReduce框架后,Llama、Qwen、MiniCPM等模型的表现均得到了显著提升。特别是在业内权威的长文本评测InfiniteBench榜单上,结合了LLMxMapReduce技术的Llama3-70B-Instruct x MapReduce模型以68.66的最高平均分数,超越了包括GPT-4、Claude 2、Kimi-Chat在内的知名闭源和开源模型,以及其他基于Llama3-70B-Instruct的分治方法,如LongAgent和Chain-of-Agents。
这一技术的突破不仅为长文本处理提供了新的解决方案,还为AI在各个领域的应用带来了更多可能性。例如,在法律、医学和金融等领域,AI需要处理大量的文本数据,而“无限长上下文”技术的出现将使得AI能够更高效地处理这些数据,提高决策的效率。
版权声明:本文为三牛号作者或机构在本站上传并发布,仅代表该作者或机构观点,不代表本站的观点或立场,三牛网仅提供信息发布平台。