Kimi砍了一半上下文,我反而觉得这是进步

导读最近月之暗面发了个新品:K3-256K。

最近月之暗面发了个新品:K3-256K。

同样是K3模型,能力没变,砍了一半上下文,从1M变256K,还不支持视频输入,token成本直接砍半。

很多人说这是技术退步,我倒觉得——这才是大模型产品终于走向理性了。

你真的需要1M上下文吗?

我前阵子和几个做AI应用的朋友吃饭,大家吐槽最多的就是:

现在大模型拼上下文长度拼疯了,可我们90%的请求,根本用不到1M。

你日常写邮件、回消息、改个几百行的Bug,真需要100多万token的上下文吗?

256K早就绰绰有余了。

真到要分析整个代码库、读一整本书的时候,再用长上下文版本不行吗?

用户一直在为没用的容量买单

我听过一个真实的例子:

有家做企业服务的公司,用了某家1M上下文的大模型,结果发现——

用户付了长上下文的钱,可每次提问就三五百字。

成本平白无故涨了一倍,用户还觉得"怎么响应这么慢"。

这不是双赢,这是双输:

  • 厂商要为更长上下文付出更高算力成本
  • 用户要为自己用不上的容量多花钱

现在月之暗面出256K版本,本质就是:把成本还给用户。你用多少买多少,不用为不需要的容量买单。

给你一个判断标准:你需要多长上下文?

我整理了一张表,你可以对着看:

使用场景大致需要长度256K够不够
日常问答、聊天<32K✅ 完全够
改单个文件、写小脚本<100K✅ 足够
多文件梳理、小项目分析128K-256K✅ 刚好够用
整库重构、整本书问答512K+❌ 不够
全代码库理解、百万字档案1M+❌ 不够

算一算,90%的人日常用下来,256K真的够了。

不同场景上下文需求对比

这不是退步,这是成熟

以前我们讨论手机厂商做1TB存储,大多数人用到换机都用不完,为什么还要做?

道理其实是一样的:

  1. 厂商需要靠大参数、长窗口做技术品牌,拉高认知
  2. 然后出精简版覆盖大众市场,满足大多数人需求

这是非常成熟的产品路径,放在大模型行业一样适用。

所以结论其实很简单:

这不是月之暗面做不出更长上下文了,是他们终于愿意给大多数用户,做一款大多数场景都能用得上、用得起的版本。

未来大模型一定会分层

以后的大模型行业,肯定会越来越分化:

一边有冲世界纪录的超长上下文旗舰版,用来证明技术能力;

一边也有砍掉冗余、刚好够用的精简版,用来服务大多数日常场景。

对普通用户来说,这当然是好事——你终于不用再为你根本用不到的长上下文买单了。