预训练语言模型

预训练 + 微调范式显著提升了下游任务效果。

代表模型：

• BERT
• GPT 系列
• T5