Meta 带着号称“有史以来最强大的开源大模型”Llama 3 系列模型来“炸街”了。

近日，Meta再次展现了其在人工智能领域的强大实力，一口气开源了两款不同规模的模型——Llama 3 8B和Llama 3 70B。这两款模型不仅继承了前代Llama 2的优秀基因，还在多个方面取得了显著的提升，展现出了令人瞩目的性能。

Llama 3 开卷

与前代 Llama 2 模型相比，Llama 3 可谓是迈上了一个新的台阶。而这一次，Llama 3 在推理、代码生成和遵循指令等方面的能力取得了突破性的提升，使其更加灵活和易于使用。

基准测试结果显示，Llama 3 8B 在 MMLU、GPQA、HumanEval 等测试的得分远超 Google Gemma 7B 以及 Mistral 7B Instruct。用扎克伯格的话来说，最小的 Llama 3 基本上与最大的 Llama 2 一样强大。

得益于预训练和后训练的改进，本次发布的预训练和指令微调模型是当今 8B 和 70B 参数规模中的最强大的模型。

同时后训练流程的优化显著降低了模型的出错率，增强了模型的一致性，并丰富了响应的多样性。这一突破性的进步，得益于Meta在预训练和指令微调方面的优化。通过改进训练流程，模型的一致性和响应多样性得到了显著提升，从而使其在各种任务中都能展现出强大的能力。

而Llama 3 70B，更是凭借其卓越的性能跻身于顶尖AI模型的行列。在与Claude 3大杯和Gemini 1.5 Pro等顶尖模型的较量中，Llama 3 70B展现出了压倒性的优势。

这不仅证明了Meta在AI模型研发方面的实力，也预示着AI技术未来的发展方向。

Llama 3 70B 则跻身于顶尖 AI 模型的行列，整体表现全面碾压 Claude 3 大杯，与 Gemini 1.5 Pro 相比则是互有胜负。

为了准确研究基准测试下的模型性能，Meta 还特意开发了一套新的高质量人类评估数据集。

该评估集包含 1800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色、开放式问答、推理、重写和总结。

出于避免 Llama 3 在此评估集上出现过度拟合，Meta 甚至禁止他们的研究团队访问该数据集。在与 Claude Sonnet、Mistral Medium 和 GPT-3.5 的逐一较量中，Meta Llama 70B 都以“压倒性胜利”结束了比赛。

据 Meta 官方介绍，Llama 3 在模型架构上选择了相对标准的纯解码器 Transformer 架构。与 Llama 2 相比，Llama 3 进行了几项关键的改进：

使用具有 128K token 词汇表的 tokenizer，可以更有效地编码语言，从而显著提升模型性能；

在 8B 和 70B 模型中都采用分组查询注意力 （GQA），以提高 Llama 3 模型的推理效率；

在 8192 个 token 的序列上训练模型，使用掩码来确保自注意力不会跨越文档边界。

除了模型本身的强大性能外，Meta还在训练数据方面下足了功夫。据悉，Llama 3使用的预训练数据集是Llama 2的七倍之多，其中包含的代码数据更是四倍于前代。这种大规模、高质量的训练数据，为模型的出色表现提供了坚实的基础。

此外，Meta还注重多语言的应用场景。在Llama 3的预训练数据集中，超过5%的数据是由涵盖30多种语言的高质量非英语数据组成。这一举措不仅拓宽了模型的应用范围，也提高了其在多语言环境下的性能表现。

值得一提的是，Meta在训练过程中还采用了“AI训练AI”的方法。研究团队发现前几代Llama模型在识别高质量数据方面表现出色，于是利用Llama 2为Llama 3提供支持的文本质量分类器生成训练数据。这种创新的训练方法不仅提高了训练效率，也进一步提升了模型的质量。

开源与闭源

作为Meta的“得力干将”，Llama 3毫无悬念地被率先整合至AI聊天机器人Meta AI中，成为其强大的核心引擎。

回溯到去年的Meta Connect 2023大会，扎克伯格在台上高调推出Meta AI，并迅速将其拓展至美国、澳大利亚、加拿大、新加坡、南非等多个地区，让全球用户都能体验到前沿的AI技术。

如果你所在的地区尚未推出Meta AI，不用担心，开源模型的另一大使用渠道——全球最大的AI开源社区网站Hugging Face，始终为你敞开大门。此外，Perplexity、Poe等平台也紧随其后，纷纷宣布将Llama 3集成至其平台服务，为用户提供更多选择和便利。

更值得一提的是，通过调用开源模型平台Replicate API接口，你也能轻松体验Llama 3的魅力。而且，其使用的价格已经公开，你可以根据自己的需求灵活选择。

在Meta官宣Llama 3之前，有细心的网友发现微软的Azure市场提前“泄密”，偷偷上线了Llama 3 8B Instruct版本。然而，随着消息的传播，当大量网友试图访问该链接时，却只能看到“404”的页面，这无疑为Llama 3的发布增添了几分神秘色彩。

Llama 3的推出已经超越了技术层面的进步，它象征着开源模型与顶尖闭源模型的并驾齐驱。据相关人士基准测试来看，Llama 3 400B+的实力与Claude超大杯以及新版GPT-4 Turbo不相上下，虽然仍有差距，但足以证明其在顶尖大模型中的一席之地。

在AI领域百花齐放、百家争鸣的今天，Llama 3的加入无疑为这场竞赛增添了更多的看点。

今年年初，手握35万块GPU的扎克伯格在接受采访时描绘了Meta的愿景：打造AGI（通用人工智能）。与OpenAI的封闭路线形成鲜明对比，Meta选择了开源的道路，向着AGI的圣杯发起冲锋。正如扎克伯格所说，坚定开源的Meta在这条充满挑战的征途中也收获颇丰：“我通常非常倾向于认为开源对社区和我们都有好处，因为我们会从创新中受益。”

在过去的一年里，AI界关于开源与闭源的争论从未停歇。甚至科技巨头特斯拉的创始人马斯克也亲自下场，通过开源Grok 1.0为这场辩论提供了实例。如今，这场辩论已经超越了技术层面的优劣比较，触及了AI未来发展的核心方向。

不久前，有人悲观地认为开源模型将逐渐落后。然而，Llama 3的强势登场无疑给了这种论调一记响亮的耳光。尽管Llama 3为开源模型扳回一局，但关于开源与闭源的辩论还远未结束。毕竟，暗中蓄势待发的GPT-4.5/5或许会在今年夏天以无可匹敌的性能为这场旷日持久的争论画上一个句号。然而，无论结果如何，我们都期待着AI技术的持续进步，为人类带来更多的惊喜和改变。