佐思汽研：2024汽车AI大模型TOP10分析报告（59页）

新用户首篇研报专享优惠价

报告摘要

产业研究战略规划技术咨询2预训练语言模型预训练微调将模型在大规模无标注数据上进行自监督训练得到预训练模型将模型在下游各种自然语言处理任务上的小规模有标注数据进行微调得到适配模型AI大模型就是预训练语言模型通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型预训练语模型“预训练微调”技术范式规模标注本数据模型预训练不同特定任务有标注训练数据模型微调测试数据最终模型从海量数据中自动学习知识Big-dataDriven，模型基于大规模语料训练而成；Multi-tasksAdaptive，支持多种任务，包括自然语言生成NLG和自然语言理解NLU类的任务；Few-shot(Zero-shot)，在少甚至无标注样本的条件下支持推理（自监督学习）。产业研究战略规划技术咨询3大模型发展历程众多预训练模型相继涌现，OpenAI以GPT2、GPT-3、ChatGPT等系列模型为代表，持续引领大模型时代的浪潮2017年，Google提出Transformer框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。