一次性支持 200 万字无损上下文!Kimi智能助手玩了个大的——月之暗面「登月」最新进展!
让大模型一次性无损地「吃下」一本书已经不是什么稀奇的事了,但如果我告诉你是下面👇🏻这样一本近百万字的书呢?
没错,这么疯狂的事竟然真的发生了——就在昨天月之暗面(Moonshot AI)召集了一次媒体沟通会,宣布在大模型长上下文窗口技术上取得新的突破:不到半年,Kimi 智能助手升级十倍——从支持20万字直接到支持 200 万字超长无损上下文。
ps:Kimi Chat已改名为Kimi智能助手,并已在官网(kimi.ai)开启“内测”。
超长上下文解锁超多可能
月之暗面现场展示了一些超长无损上下文的使用场景示例。最令人印象深刻的自然是开头提到的近百万字的《中医内科学》一书。当月之暗面工程副总裁许欣然抱出这本书时,引起了现场所有人的惊叹,好家伙,Kimi还真能一下“消化掉”并给出准确的诊疗建议,这背后的技术就像这本书一样“沉甸甸”。
支持超长上下文之后,Kimi在处理超多文件的业务场景时自然解锁了更多可能。例如,公司 HR 可以快速从500 份简历中让 Kimi 快速找出有某个行业从业经历,同时从计算机类专业毕业的求职者:
图片
Kimi十分钟速成专家
大家肯定都听过一万小时专家定律,月之暗面在现场提出了「Kimi十分钟速成专家定律」——在 200 万字无损上下文的支持下,只需 10 分钟,Kimi 就能接近任何一个新领域的初级专家水平。比如上传英伟达过去几年的完整财报,马上就能让 Kimi 成为英伟达财务研究专家,帮用户分析总结英伟达历史上的重要发展节点。
而如果将甄嬛传全集几十万字的剧本传给 Kimi,你就能成为堪比一个看了好几十遍电视剧的“甄”学家,无论是甄嬛、果郡王的情感线以及和他们孩子的真相,借助Kimi都能秒答出来:
除了快速成为专家之外,Kimi还能让你扮演跑团游戏主持人,体验各种数字分身……
月之暗面「持续登月」
实现通用人工智能就像是登月,在通往AGI的路上,无损的长上下文将会是一个很关键的基础技术。从 word2vec 到 RNN、LSTM,再到 Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。”
月之暗面创始人&CEO杨植麟前不久在接受腾讯科技采访时表示:“长文本是登月第一步,它很本质。它是新的计算机内存,它能解决很多现在的问题。比如,现在多模态架构还需要tokenizer,但当你有一个无损压缩的long context就不需要了,可以把原始的放进去。进一步讲,它是把新计算范式变成更通用的基础……”
事实证明,月之暗面在登月的第一步上成绩斐然,月之暗面将 Kimi 智能助手的无损上下文长度从20 万字提升到200 万字只用了不到半年时间。而在这半年时间里,由于没有采用常规的渐进式提升路线,月之暗面团队遇到的技术难度也是指数级增加的。为了达到更好的长窗口无损压缩性能,月之暗面的研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,不走“滑动窗口”、“降采样”等技术捷径,攻克了很多底层技术难点,才取得了新的突破。
月之暗面工程副总裁许欣然在媒体沟通会上表示,“无论是内存、算力还是网络带宽,历史上每一次基础技术的升级,都会解锁新的产品形态和应用场景。我们对 200 万无损上下文的 Kimi 可以带来哪些超出想象力的创新机遇充满期待。”
杨植麟此前在接受采访时明确表示,登月的第一步是长文本,第二步则会有两个大的milestone。其中之一就是真正的统一各种不同模态的世界模型,即一个真正的scalable和general的architecture(可扩展、通用的系统结构)。关于影响下一步“登月”计划的多模态模型,月之暗面在现场透露,他们早在Sora发布之前就在研发多模态大模型,预计今年就会亮相。
最后,就让我们小小地期待下,月之暗面会不会在视频生成时长上也在国内带来类似长文本一样“一骑绝尘”的突破吧。
本文转载自夕小瑶科技说,作者:王二狗
原文链接:https://mp.weixin.qq.com/s/riq8xlZNNt0m-vZtRMpeAw