#本地部署

按标签聚合查看文章内容。

DeepSeek 量化全指南:本地部署如何选择 GGUF、AWQ 和 GPTQAI教程

DeepSeek 量化全指南:本地部署如何选择 GGUF、AWQ 和 GPTQ

DeepSeek 系列是开放权重大模型,支持本地部署,但原始模型参数规模巨大,直接以全精度运行对大多数个人或小型服务器来说几乎不可能。本文系统对比 GGUF、AWQ、GPTQ 三种主流量化格式在 DeepSeek 本地部署中的适用场景、优缺点与选型思路,帮助你根据硬件与应用需求做出合适选择。

本地运行 DeepSeek 的安全与隐私:”本地“到底能保护什么?AI教程

本地运行 DeepSeek 的安全与隐私:”本地“到底能保护什么?

在本地运行 DeepSeek 确实能避免数据直接发送到外部服务器,但这并不是隐私“万能钥匙”。真正的安全取决于你使用的运行环境、网络配置、日志与缓存策略,以及是否彻底关闭遥测与外联。本文系统梳理本地 DeepSeek 的隐私模型、数据可能残留的位置、网络暴露与遥测风险,并给出一套可操作的隐私加固清单与使用边界判断。

Zylon 本地私有 AI 平台(适用于高监管行业)AI商业

Zylon 本地私有 AI 平台(适用于高监管行业)

Zylon 是面向金融、医疗、国防及公共部门的本地私有 AI 平台,可在自有机房、隔离网络或专有云 VPC 中部署,支持零云依赖、全程数据可控,并符合 SOC 2、HIPAA、GDPR、ISO 27001 与 EU AI Act 等合规要求。

日本伊藤忠科技与理光联合推出搭载理光LLM的小型AI服务器 可放置于办公桌旁AI资讯

日本伊藤忠科技与理光联合推出搭载理光LLM的小型AI服务器 可放置于办公桌旁

日本伊藤忠科技解决方案株式会社(简称CTC)与日本理光株式会社于27日宣布,联合开发了一款结合了理光自家大型语言模型(LLM)的小型桌面AI服务器,支持在本地环境中使用生成式AI。该产品将通过日本理光日本公司开始提供。 此次推出的产品基于本地AI设备“NVIDIA DGX Spark”的OEM版本,体积小巧,尺寸为150×150×50.5毫米(宽×深×高),适合放置于办公桌旁。尽管体积紧凑,但具备