AGI年代，越来越近了。
全民Long-LLM年代终于到来。
本月，中国初创AGI（通用人工智能）公司月之暗面宣告旗下大模型东西Kimi Chat正式晋级到200万字参数量，与五个月前该大模型初度露脸时的20万字比较，提高十倍。Kimi Chat的晋级彻底引爆商场，同时也引起长文本大模型(Long-LLM)细分赛道愈加激烈的竞赛。
image.png
（图源:阿里 通义千问）
昨日，阿里旗下的大模型东西通义千问宣告迎来重磅晋级，向所有人敞开最高1000万字的长文本处理才干，更重要的是，这项晋级彻底免费。此项晋级关于专业范畴的意义重大，例如金融、医疗、科研等从业人员，都能使用这项功用更快速地提取出中心关键词，节约文档归整、资料收拾的时间。
不仅是阿里，百度文心一言也迎来了长文本处理才干的晋级。据官方资料显现，文心一言将在下个月敞开免费的200万-500万字长文本处理功用，较此前最高2.8万字的文档处理才干提高上百倍。
此外，360也在本月正式上线了360AI查找，经过大模型重塑，结合长文本技能在海量查找结果中了解并生成精准的答案提供给用户。而这款APP，也相同是彻底免费的。
image.png
（图源:TechTalks）
长文本一直以来都是大模型东西「内卷」的方向，如(域名控制面板)安在超百万字的文档里做出有用的信息收拾、观点归纳，都是技能上的难点。当然，正如半导体职业与消费电子产品商场之间的联系相同，许多顾客能感受到手机、电脑等产品功用正在腾跃式成长，但落实到实际体会上，似乎没有太多的改变。
而在生成式人工智能（GenAI）范畴里，「卷」参数会是一个虚无缥缈的噱头，仍是造福人类的行为，还很难回答。
大模型是如何拿下长文本技能的?

在弄清楚「卷」参数到底有何意义之前，咱们首先需求了解AI企业们到底在「卷」什么东西。
与衡量手机功用以跑分分数为准相同，大模型也有归于自己的「功用基准」——token，这是一个大模型专用的输入、输出基本单位。在OpenAI给出的原则里，1k token等于750个英文单词、500个中文汉字。
image.png
（图源:OpenAI）
同理，token数字越大，可以处理的内容篇幅就越长。ChatGPT-4现在的参数量为8k-32k token、Anthropic公司推出的Claude为100K token，而中国初创企业月之暗面推出的Kimi Chat则是达到了惊人的400K token。具体到实例，Kimi Chat可以在20秒左右读完1篇20万字的长篇小说、通文千义也能在数秒时间里读完80万字的《三体》。
image.png
（图源:雷科技制图/通义千问）
参数量剧增所带来的优点自然是大模型关于更长的内容拥有更快速的了解才干，这可以帮助用户从中提炼到所需的摘要、信息点，又或是直接生成整篇内容的总结。言语大模型之所以可以快速「引爆」整个商场，正是得益于这种速度惊人的了解才干。
image.png
（图源:雷科技制图/Kimi Chat）
但要彻底霸占长文本，大模型光靠堆砌token参数量并不能彻底处理这个问题。超大数量的token的确可以快速阅览完长文档，但阶段与阶段间的内容也更简单出现「开裂」的情况，这与短少模型的预先练习有关。现在拥有超大token的AI计划提供商，通常在Transformer猜测词之前投喂词元模型，使整体定论愈加完整。
image.png
（图源:Code-Llama）
比如Code-Llama，标称16K token参数量，但实际上是由一个个4K token窗口衔接而成，终究产生出16k token总模型。而这就非常检测大模型东西在窗口之间的推理才干。试想一下，在专业范畴中，长文内容都有紧密的逻辑性与关联性，假设大模型推理失误，则有或许出现终究生成的摘要牛头不对马嘴，这关于大模型东西的商业、个人使用，都是丧命的冲击。
当然，大模型的推理才干是可以经过练习得到进步的，这就不难解释为何阿里、百度都选择优先将长文本模型功用免费敞开给个人用户，究竟更多用户加入，模型推理才干的进化速度才干加快。
image.png
（图源:百度 文心一言）
但免费使用也是一件好事情，长文本的快速阅览一直以来也是用户在大模型各项实际使用场景最重视的一项，比如正在写毕业论文的学生党，或许将超长的论文喂给大模型东西，让其快速提炼、总结，甚至找出论文中的研讨定论。
长文档才干拓宽，用途比咱们想象中要多

阿里的通义千问将长文本档才干的拓宽方向瞄准在专业范畴的内容了解上，尤其是金融、医学等，关于这些职业的从业人员而言，早年需求花上几天或是十几天才干读完的文章，现在只需花上十几秒就能看完其间的精华之处。
但大模型长文本的才干远不止于此。
不久前，知名游戏公司育碧揭露的全新「NEO NPC」技能，正是Long-LLM（长文本大模型）晋级后衍生的新方向。众所周知，3A游戏高文的魂灵往往与其精彩的剧本离不开联系，其间各式各样的游戏人物，也因其丰富的布景故事和明显的特性深受玩家喜爱。大模型从1k token进化到100k token，甚至是400k token，可以让游戏剧本完整地覆盖到每个游戏人物里，让他们的对话、行为，既契合游戏的国际观，又能确保必定的灵活性。
这项才干相同可以使用在咱们日子中最离不开的功用——查找。
image.png
（图源:雷科技制图/360AI 查找）
本月初，360在北京举行了一场活动，旗下全新360AI 查找和360AI 浏览器首先露脸。360AI 查找的中心在于“了解”、“提炼”、“总结”，即抛开传统搜素引擎将所有与之相关的内容为用户一一出现的做法，主动介入查找结果，在数以万计的匹配信息里提炼出最有用的信息。
360AI 浏览器则是变成彻底的「AI东西」。周鸿祎解释道，360AI 浏览器的定位是学习、生产力东西，它能帮助用户快速阅览书本、文章，了解视频内容等。此外，360AI 浏览器未来还将拥有续写功用，这相同依据大模型长文档的了解。
更重要的是，更长的文档内容了解有助于加速AI快速过渡到AGI（通用大模型）年代。正如前文所说，Long-LLM较之前最大的改变在于对超长文本的了解、记忆、总结才干，这些才干可以是大模型愈加「拟人」，即记住样本的实在喜爱从而判断其行为，又或是依据实在国际的物理规矩，生成彻底契合实际的内容。
Long-LLM能改变国际，但算力难以处理

早在去年底，大模型长文本技能就已经进入到火热阶段，但却鲜有AI企业将这项技能使用到大模型东西中，更别提免费向群众敞开了。
OpenAI CEO Altman在接受揭露访问时也表明，由于算力不足，GPT-4的32K token短期内无法向群众敞开。要知道，OpenAI可是当时人工智能商场里获出资最高的头部企业之一，连它都空有技能却无法落地，难免让人对Long-LLM的未来感到忧虑。
在算力不足的前提下有没有办法「投机取巧」呢?当然有。
现在主流节约算力的长文本技能通常有三种，分别是短文档重复检索、内容分组检索和模型自身的优化。前两种计划在技能原理上相对一致，都是将重复的内容进行「记忆」，节约了解时间，减少算力消耗;而模型自身的优化则要复杂许多，相当于用短文档推导出长文档，这非常考究模型自身的结构优化。
不过，不管选用哪种办法，其精度仍有待加强，这就是为何咱们仍在等待更强大的核算卡出现，比如前不久GTC2024上，英伟达发布的最强核算显卡Blackwell GB200。关于这颗当时最强AI加速卡的具体解析，雷科技在早前的文章里已有报导，欢迎各位订阅查看。
在当时，算力仍是阻止Long-LLM成长的一大关键因素，但随着英伟达、英特尔等硬件供货商不断加码，这项技能在未来也将成为AI范畴开展的风向标之一。
写在最终

如果说OpenAI的Sora展现出其在AGI年代关于视频范畴上的想象，那么Long-LLM则是奔向全场景通用智能的基桩。
大模型长文本技能能让AI助手记住用户的所有你与它谈论过的论题，这让你们之间可以发明实在的回忆，而不是像早年相同，在开端新对话之后，前面的「AI」就忘记了刚刚发生过的任何事情。这使得它可以变成更好的AI智能客服，究竟即便是真人，也难以记住与每位咨询者发生过的对话。相同的，Long-LLM还能化身数字人主播、发明数字偶像等等。
或许，在大模型长文本技能的支持下，AGI年代将在不久后真正到来。