第一章 绪论

1.1 迁移学习

• 迁移学习，顾名思义，就是要通过知识的迁移进行学习，达到事半功倍的效果。

• 在机器学习范畴，迁移学习可以利用数据、任务或模型之间的相似性，将在旧领域学习过的模型和知识应用于新的领域。

1.2 相关领域研究

• 从根本上说，迁移学习可以在训练数据和测试数据服从不同的数据的概率分布（Probability distribution）时，更好地构建模型。

1.3 迁移学习的必要性

1.3.1 大数据与少标注之间的矛盾

• 海量的数据使得机器学习和深度学习模型可以持续不断地进行训练和更新。然而，这些大数据也伴随着严重的问题：总是缺乏完善的数据标注。

• 单纯地凭借少量的标注数据，无法准确地训练高可用的模型。

• 利用迁移学习的思想，可以寻找一些与目标数据相近的有标注的数据，利用这些数据来构建模型，增加目标数据的标注。

1.3.2　大数据与弱计算能力的矛盾

• 大数据需要强计算能力的设备来进行存储和计算。

• 在这种情况下，普通人想要利用海量的大数据去训练模型完成自己的任务，基本上不太可能。

• 迁移学习提供了一种基于大数据“预训练”的模型在自己的特定数据集上进行“微调”的技术，大大降低了训练难度和成本，并且可以保证在自己的任务上取得优良的表现。