This article does not have an English body yet. Showing the Chinese version below.
Zero-shot
零样本学习,不给例子直接干。
假设模型对某个新东西完全不认识,但可以在在已知训练数据中提取相关特性。经典的例子是让大模型介绍什么是斑马。它的训练过程中可能从来没接触过斑马,但它可以通过熟悉的马,驴,斑马线等事务身上理解什么是斑马。
这个概念通常是大模型相较于传统机器学习的。因为大模型语料足够多,人类所见的种种事务基本它都了解,所以很多任务场景可以Zero-shot,直接输出较完善的结果。
但复杂推理、格式精准控制、领域知识很深的场景,往往需要 few-shot 甚至 fine-tuning。
Few-shot
少样本学习。通过提示词给几个例子,让模型照猫画虎。
通常用在格式要求精细的任务,比如输出精确格式的json。
也可以用在任务定义模糊的场景,比如让大模型总结文章,它不知道你想要的“总结”具体指什么。你可以通过附带一些例子来教它。例子在精不在多,3个左右就够。例子的多样性大于数量。
Fine-tuning
前两者是提示词工程返程,Fine-tuning则是指用准备的数据再训练一轮,更新模型参数,从而提高大模型在某些领域的性能。数据量通常在500-5000。
一般用于格式/风格控制极严或者领域知识很窄很深的场景。
也可用于降低模型推理成本——微调后的小模型替代大模型调用,成本降低 10-100x