由 dawei
BERT、GPT 等大规模预训练模型（PTM）近年来取得了巨大成功，成为AI领域的里程碑。因为预训练大模型的显著优势，现在AI社区的共识是采用它作为下游任务的开始，而不是从头开始训练数据、建立模型。
随着产学研各界的深入研究，大模型在AI各界的地位得到不断加强。一些机构和产业界对大模型的参与到角逐，使得其呈现出一种宣传炫技般的画面感受。这样的发展模式很可能会给行业带来一些不好的影响：
1.大模型成为一些机构和企业秀肌肉的军备竞赛，大家开始比拼各自参数集数量级。你百亿级，我就千亿级。数据集本身就有限，标榜自己的数据集越大，也意味着水分比较多，而在真实落地使用的情况方面，也并不不一定理想。算力资源和训练时间消耗过大，并且也只限于部分行业的部分问题，普适性差。
2.国内预训练模型的玩家们可用的中文数据集有限，就是我们知道的几种主流常用数据来源。在有限的数据集里，大家使用的数据未免重复，而因此研究出来的大模型能力就比较接近。走相同的路径做类似的事情，有点浪费资源与算力。