prompt · 2025年2月12日 0

传统Pretrain+Fine-Tune与Prompt-Based方法的差异

当AI学外语:填鸭式补习班 vs 情景对话课

想象一下,你是个刚买了台智能音箱的倒霉蛋。冲着它喊了三次”播放周杰伦”,结果它给你放起了《新闻联播》。这时候你才意识到——AI的”智商”全看训练方式。今天咱们就来唠唠AI界的两种”教育理念”,一个像传统辅导班,另一个像真人沉浸式教学。

## 填鸭式突击培训:Pretrain+Fine-Tune

这路子就像让AI参加高考冲刺班。先拿《五年高考三年模拟》(预训练语料库)往死里背,把语法词汇都吃透。等到要上岗当翻译了,突然塞给它《医学专业英语词典》(领域特定数据)搞特训。

*举个栗子*:BERT这类模型就像尖子生,预训练时掌握了”完形填空”绝技。等到要做情感分析时,得用标注好的影评数据重新调教它。整个过程像在说:”之前学的都是基础,现在给我专门研究怎么夸人骂人!”

缺点也很明显:
– 每换个任务就得重新报补习班(重新微调)
– 学得太专容易钻牛角尖(过拟合)
– 换个题型就懵圈(零样本迁移能力差)

## 情景教学法:Prompt-Based Learning

这派老师傅觉得”做题家”模式太low,改玩沉浸式教学。就像直接带AI去餐厅实习,跟它说:”客人说’这汤真鲜’,你该回什么?” 通过设计具体场景(prompt)来激活AI的常识。

比如用GPT-3做情感分析时,可以写提示语:
`”这句话’这手机续航简直了’表达的情绪是:[MASK]”`

*妙在哪呢*:
– 不用重新报班,直接考知识应用(无需微调)
– 像真人对话自然流畅(更接近人类思维)
– 同一套功夫能应付十八般兵器(多任务统一框架)

最近爆火的ChatGPT就是典型代表,你跟它唠”帮我写首失恋诗”,它立马戏精上身切到文艺模式,根本不用事先训练怎么写诗。

## 选补习班还是私教课?

| **场景** | **Pretrain+Fine-Tune** | **Prompt-Based** |
|————————-|——————————-|——————————|
| 数据量 | 需要标注数据 | 零样本也能玩 |
| 灵活性 | 任务特定模型 | 一个模型走天下 |
| 成本 | 每次微调都要烧钱 | 主要费脑子设计提示词 |
| 可解释性 | 黑箱操作 | 更像开卷考 |

现在明白为啥大厂都在卷提示工程了吧?就像教小孩,与其逼着背公式,不如教会”解题思路”。不过传统方法在医疗、法律这些专业领域还是稳如老狗——毕竟人命关天的事,AI可不能随便”自由发挥”。

下次被智能音箱气到的时候,想想它可能正在两种学习模式间纠结:”主人到底是要听周杰伦,还是想看周杰拍的新闻呢?”(摊手)