Llama 3 的 8B 和 70B 型号拥有 8K 上下文窗口，经过 15T tokens 预训练，训练数据比 Llama 2 大了七倍，并且包含四倍多的代码。
其中 Llama 3-8B 的性能就已优于 Llama 2-70B。人类择优测试中 Llama 3-70B 远胜于 Claude 3 Sonnet、Mistral Medium 和 GPT-3.5。
Llama 3 的多模态和更大的版本将在数月内推出，其中最为强大的 Llama 3-400B+ 仍在训练中，三天前的基准测试结果已经持平 Claude 3 Opus 超过 Gemini Pro 1.5，仅数学落后最先进的 GPT-4-2024-04-09。
Meta
线索：@ZaiHuabot
投稿：@TNSubmbot
频道：@TestFlightCN
