科技行业：Llama 2升级迭代效果显著有望加速应用端落地-230730（16页）

新用户首篇研报专享优惠价

报告摘要

中泰证券研究所专业领先深度诚信证券研究报告2023.7.30Llama2：升级迭代效果显著，有望加速应用端落地分析师：闻学臣执业证书编号：S07405190900072图表：Llama1和Llama2的模型结构对比资料来源：Llama2：OpenFoundationandFine-TunedChatModels、中泰证券研究所2023年年7月月19日，日，Meta发布了发布了Llama2开源预训练大模型。开源预训练大模型。该模型是Llama1的更新版本，在公开可用的数据集上进行训练。与LLaMA相比，预训练语料库的大小增大约40%，达到了2.0T。同时模型的上下文长度增加到了4ktokens，并采用了分组查询注意力机制（GQA,grouped-queryattention）。Llama2有有7B、13B、34B和和70B的四个版本，的四个版本，在多项基准测试中表现优异。在多项基准测试中表现优异。特别是在阅读理解和常识推理方面，70亿参数规模的Llama2预训练模型的表现已经可以与当前顶尖的预训练语言模型GPT-3.5和PaLM-540B相媲美。