大模型是怎么“说话”的 《走在前列的广东实践》社会实践 · 科普作品

它其实只在
猜下一个字

一个字一个字猜下去,就成了你看到的回答。下面这台机器就是照这个原理写的,你喂它什么文字它就学什么腔调,猜出来的每个字都按真实概率算,没有一处是提前写好的。

语料—字
词表—字
两字搭配—种

这是它读语料时的真实样子:每一列最上面是它正看着的那个字,下面六个是它认为最可能接在后面的字,红色是它会选的那个。红条越长,它越有把握。整条带子在缓缓往前推,就像它一页页翻过去。

01

先把话切成小块

模型不认识"句子",只认识一块一块的东西,行话叫 token。中文基本一个字一块,英文常把一个词拆成好几块。输一句话,看它被切成什么。

为什么重要大模型收费按 token 算,能记住的长度也按 token 算。常说的"上下文窗口几万字",指的就是这个小块的数量。
02

喂给它文字,让它数数

它学的方式特别朴素:数一数每个字后面最常跟哪个字。下面三份语料腔调完全不同,换一份再往下走,出来的味道立刻不一样。

还没开始学
喂什么学什么。模型的腔调是训练数据决定的,喂古诗它就之乎者也,喂歌词它就伤春悲秋。
03

猜下一个字

给一个开头,看它认为下一个字最可能是哪几个。下面这些百分比是真的按语料数出来的,不是画上去的。输完按回车就行。

大模型干的就是这件事。只是在它那儿,"看前面几个字"变成看前面几千个字,"数次数"变成几百亿个参数里记下来的规律。
04

温度:为什么同一个问题问两次答案不一样

它不一定挑概率最高的那个字,而是按概率抽签。温度就是调这个签的旋钮:温度低几乎只挑最有把握的字,回答死板但稳;温度高时冷门字也有机会被抽中,有创意但也更爱胡说。

模型输出温度 0.80top-k 8
先让它学,再点生成。
把温度拉到 0.1 生成一次,再拉到 1.8 生成一次,对比着看。同一个模型,出来完全是两种东西。你用的 AI 产品里那个"创造性/严谨"开关,调的就是它。
05

让它说长一点,看它怎么跑偏

上面那段读着还行,是因为短。生成两百字再读一遍,句子看着通顺,但经常前后不搭、说了等于没说。

长文本输出同一台机器
它为什么胡说因为它学的只是"什么字接什么字顺",它根本不知道自己在说什么。大模型也一样,它在海量文本里学会了"什么样的回答看起来像真的",而不是"什么是真的",所以会自信地编出不存在的论文和法条。它追求的是接得顺,不是说得对。
06

两个能测出来的指标

让它"看前面 1 个字"和"看前面 2 个字",在同一份没学过的考卷上比一比。准确率是猜中下一个字的比例,困惑度是它的"意外程度",越低越好。数字都是现场算的。

看前 1 字 准确率
—%
看前 2 字 准确率
—%
考卷字数
—字
看前 1 字 困惑度
—越低越好
看前 2 字 困惑度
—越低越好
结论
待测试
读一下这张表
语料太少时,看 2 个字反而可能更差,因为很多组合它压根没见过,这叫数据稀疏。所以大模型非得喂海量数据,不是因为它笨,是因为见过的搭配越多才猜得越准。