AI资讯8GB显存也能高速运行35B参数模型！专为MoE设计的AI执行环境“FreeToken”
许多用户可能遇到过这样的困扰：“模型本可以放入主内存，但显卡的显存不足，导致运行缓慢甚至无法使用。”针对这一问题，日本推出了免费的AI模型执行环境“FreeToken”，目前可从官方网站免费下载，采用Apache 2.0开源许可。 FreeToken专注于MoE（专家混合模型，Mixture-of-Experts）模型的高效运行。MoE模型只激活部分参数进行计算，因此实际占用的显存远低于模型总参
#MoE模型
按标签聚合查看文章内容。
AI资讯
AI聊天助手DeepSeek｜深度求索通用大模型与开发平台
DeepSeek（深度求索）是一家专注通用人工智能底层模型与技术的公司，基于自研训练框架和自建智算集群，开源了多款百亿级参数大模型，包括通用大语言模型 DeepSeek-LLM、代码大模型 DeepSeek-Coder 以及国内首个开源 MoE 大模型 DeepSeek-MoE，并提供便捷的对话体验与 API 接入能力。