AI资讯8GB显存也能高速运行35B参数模型！专为MoE设计的AI执行环境“FreeToken”
许多用户可能遇到过这样的困扰：“模型本可以放入主内存，但显卡的显存不足，导致运行缓慢甚至无法使用。”针对这一问题，日本推出了免费的AI模型执行环境“FreeToken”，目前可从官方网站免费下载，采用Apache 2.0开源许可。 FreeToken专注于MoE（专家混合模型，Mixture-of-Experts）模型的高效运行。MoE模型只激活部分参数进行计算，因此实际占用的显存远低于模型总参
#显存优化
按标签聚合查看文章内容。
AI资讯
AI资讯Unsloth Studio发布：首个本地视觉大模型微调平台，显存使用降低70%
Unsloth AI推出开源无代码视觉工具Unsloth Studio，简化大语言模型微调流程，降低开发门槛，实现训练速度翻倍和显存使用减少70%。