| 事件 美国时间4 月18 日，Meta 正式发布了其最新版本的开源大语言模型Llama3， Llama 3 目前已开放8B 和70B 两个小参数版本，未来将继续推出更多产品，最大版本参数超400B。 Llama3 性能显著提升，并在多个关键指标上超越了当前业界的先进模型Llama3 的主要亮点包括：基于超过15T token 训练，相当于Llama 2数据集的7 倍还多；支持8K 长文本，改进的tokenizer 具有128Ktoken 的词汇量，可实现更好的性能；在大量重要基准中均具有最先进性能；新能力包括增强的推理和代码能力；训练效率比Llama 2 高3 倍；带有Llama Guard 2、Code Shield 和CyberSec Eval2 的新版信任和安全工具。8B 和70B 版本Llama3 模型已用于Meta AI 助手，同时也面向开发者进行了开源，包括预训练和微调版本。根据Meta 官方的评估报告，Llama3 的370B 参数模型在MMLU、GPQA、HumanEval、GSM-8K 和MATH 等标准测试集中取得了82.0、39.5、81.7、93.0 和50.4 的高分，相较于Llama2 的70B 参数模型，分别实现了29.1、18.5、56.1、35.5 和38.8 的分数提升，标志着Llama3 在整体性能上的显著进步。此外，Llama3 在多个关键基准测试中的表现也超过了行业内的其他领先模型，包括Gemini1.5Pro 和Claude3 系列的中杯模型Sonnet。 Llama3 的模型训练和词汇量都实现了显著增长Llama3 的主要亮点包括：基于超过15T token 训练，相当于Llama 2数据集的7 倍还多；支持8K 长文本，改进的tokenizer 具有128Ktoken 的词汇量，可实现更好的性能；在大量重要基准中均具有最先进性能；新能力包括增强的推理和代码能力；训练效率比Llama 2 高3 倍；带有Llama Guard 2、Code Shield 和CyberSec Eval2 的新版信任和安全工具。8B 和70B 版本Llama3 模型已用于Meta AI 助手，同时也面向开发者进行了开源，包括预训练和微调版本。同时，Llama3 支持处理8K 的长文本输入，并配备了经过改进的tokenizer，词汇量增至128K，进一步提升了其语义理解的能力。此外，Llama3还新引入了推理和编程能力，训练效率比Llama2 提高了三倍，增强了其实用价值。 Llama3 的模型训练和词汇量都实现了显著增长Meta 还透露，具有4000 亿参数的Llama3 大模型正在积极开发中，预计将在更长的上下文理解和多模态处理能力上实现新的突破。 投资建议 除了Meta，谷歌和微软也计划在5 月的开发者大会上展示其最新的大模型进展。同时，国内的科大讯飞星火大模型也预计将进行升级。这表明，全球的大模型及其应用产品即将进入一个新的快速发展周期，预计将进一步加速AI 技术的商业化进程。我们认为以Llama3 为代表的开源大模型性能提升有望加速推动AI+行业应用生态的构建，可关注国内大模型迭代的进程。 风险提示 1、AI 发展不及预期；2、商业化不及预期；3、政策不确定性带来的风险。 |
