#专家混合模型

DeepSeek发布新AI模型，缩小与顶尖模型的差距

中国AI实验室DeepSeek近日推出了其最新大型语言模型DeepSeek V4的两个预览版本——V4 Flash和V4 Pro。这是继去年发布的V3.2版本及其备受关注的R1推理模型之后的重要升级。DeepSeek表示，这两款模型均采用了专家混合（mixture-of-experts）架构，拥有高达100万令牌的上下文窗口，能够处理大型代码库或文档输入。专家混合技术通过激活部分参数来降低推理成本