Back to topics

This article does not have an English body yet. Showing the Chinese version below.

Zero-shot

零样本学习,不给例子直接干。

假设模型对某个新东西完全不认识,但可以在在已知训练数据中提取相关特性。经典的例子是让大模型介绍什么是斑马。它的训练过程中可能从来没接触过斑马,但它可以通过熟悉的马,驴,斑马线等事务身上理解什么是斑马。

这个概念通常是大模型相较于传统机器学习的。因为大模型语料足够多,人类所见的种种事务基本它都了解,所以很多任务场景可以Zero-shot,直接输出较完善的结果。

但复杂推理、格式精准控制、领域知识很深的场景,往往需要 few-shot 甚至 fine-tuning。

Few-shot

少样本学习。通过提示词给几个例子,让模型照猫画虎

通常用在格式要求精细的任务,比如输出精确格式的json。

也可以用在任务定义模糊的场景,比如让大模型总结文章,它不知道你想要的“总结”具体指什么。你可以通过附带一些例子来教它。例子在精不在多,3个左右就够。例子的多样性大于数量。

Fine-tuning

前两者是提示词工程返程,Fine-tuning则是指用准备的数据再训练一轮,更新模型参数,从而提高大模型在某些领域的性能。数据量通常在500-5000。

一般用于格式/风格控制极严或者领域知识很窄很深的场景。

也可用于降低模型推理成本——微调后的小模型替代大模型调用,成本降低 10-100x