Foundry Local

美国微软公司于4月9日(当地时间)宣布,正式推出本地AI解决方案“Foundry Local”。

“Foundry Local”是一款支持跨平台(Windows、macOS、Linux)的本地AI模型解决方案,能够在无需依赖云端、无网络延迟、无令牌计费、无需用户配置的情况下使用本地AI模型。用户可以从“Foundry Catalog”下载经过设备硬件优化的本地AI模型,并将文本、语音等多模态AI功能直接集成到应用程序中。该方案适用于在桌面应用中嵌入私有AI助手,或在离线环境下运行的边缘应用中添加语音输入、文字转录等AI功能。

微软正在打造覆盖云端到边缘设备的AI平台“Microsoft Foundry”,而“Foundry Local”则是其中专注于桌面PC、笔记本电脑及未来智能手机等设备的关键组成部分。

Foundry Local功能

“Foundry Local”的主要特点包括:

  • 自给自足:只需“Foundry Local”即可使用本地AI,无需依赖第三方应用或外部组件,用户无需进行任何设置。
  • 统一的SDK:集成语音输入、工具调用、聊天等所有AI功能,无需额外SDK支持。
  • 自动硬件加速:自动识别设备的NPU、GPU或CPU配置,优化AI模型性能。
  • 实时用户体验:通过逐令牌流式响应,提供实时交互体验,无需等待完整回答。
  • 离线运行:用户数据不上传设备外,响应无网络延迟。
  • 多语言支持:支持C#、Python、JavaScript、Rust等多种编程语言。
  • 自动续传:下载AI模型时断网可自动从断点续传。
  • 精选模型目录:通过“Foundry Catalog”提供优化后的本地模型,包括gpt-oss、Qwen、Whisper、DeepSeek、Mistral、Phi等。
  • 跨平台支持:兼容Windows、macOS(Apple Silicon)、Linux(x64)系统。
  • 兼容OpenAI HTTP端点

例如,在Python环境中使用“Foundry Local”,可以通过以下命令安装SDK。Windows环境下,利用支持“Windows ML”的SDK可享受硬件加速优势。

# Windows(推荐硬件加速)
pip install foundry-local-sdk-winml

# macOS / Linux
pip install foundry-local-sdk