0. 引言

微调是指在预训练模型的基础上，使用少量的标注数据对模型进行微调，以提高模型在特定任务上的性能。

常见的需要进行微调的原因：

1. LLM在特定任务上的性能还需要微调来提升: 通用模型训练数据覆盖面广，但难以深入垂直领域的知识体系和专业术语，例如医学争端需要理解病理特征、法律咨询需要熟悉法条逻辑；当模型在专业领域知识不够时会有明显的幻觉。
2. 让模型掌握”特定风格“: 例如训练模型以幽默风格撰写广告文案、心理咨询场景需要调整输出为引导性提问还不是结论性的判断

长上下文 vs 知识库 vs 微调

长文本表示模型可以处理很长的文本内容理解，其优点是：

• 连贯性强：能够生成或者

核心的问题:

1. 微调的各种参数怎么调？
2. 微调的过程怎么观察？
3. 微调后的模型如何部署？
4. 如何评估模型微调后的效果？

1. 模型微调实操

以大模型算命大师为例，

参考

1. deepseek微调