1.3 领域大型语言模型

迄今为止，以ChatGPT为首的一系列大型语言模型给人们带来了极大的便利，例如：编辑可以借助大型语言模型的能力进行文案润色，程序员可以借助大型语言模型能力进行代码辅助生成；而在GPT-4等多模态模型出现后，很多人都变成了绘画大师，只需要输入一些文本描述，大型语言模型就可以生成对应的图片。

但是，大型语言模型距离真正落地还有一段艰难的路要走。目前大型语言模型在通用领域的效果还不错，但在一些特殊或垂直领域效果不是很理想。因此有不少研究者在领域数据上对通用大型语言模型采用继续预训练、指令微调、人类偏好对齐等手段，将通用大型语言模型领域化、垂直化、行业化，以在不丧失原有大型语言模型能力的基础上，进一步提高模型在特定领域的效果。我们往往将在某个领域具有较为优异效果的大型语言模型称为领域大型语言模型。例如：在医疗数据上进行进一步训练得到的大型语言模型，被称为医疗大型语言模型。目前，在很多领域都涌现出了领域大型语言模型，但主要集中在法律、医疗、金融、教育4个领域，因为这4个领域在自然语言处理发展的过程中受关注较多且具有较多的开源数据。

本节主要介绍这4个领域的中文大型语言模型，并从底座模型的选择、数据构造、训练方法等几个方面进行深入剖析。