AI资讯Skymizer发布能以约240W功耗推理700B大型语言模型的AI加速器
台湾Skymizer公司于4月23日发布了基于HyperThought平台打造的AI加速器芯片“HTX301”。该芯片通过6颗集成,并配备384GB内存的PCIe卡,能够以约240瓦的功耗完成700B参数规模大型语言模型(LLM)的推理计算。 HyperThought架构专为推理为核心的AI时代设计,采用了预填充(prefill)和解码(decode)工作负载分离的策略。通过解码优先的硅片设计结
按标签聚合查看文章内容。
AI资讯台湾Skymizer公司于4月23日发布了基于HyperThought平台打造的AI加速器芯片“HTX301”。该芯片通过6颗集成,并配备384GB内存的PCIe卡,能够以约240瓦的功耗完成700B参数规模大型语言模型(LLM)的推理计算。 HyperThought架构专为推理为核心的AI时代设计,采用了预填充(prefill)和解码(decode)工作负载分离的策略。通过解码优先的硅片设计结
AI教程人工智能代理简介及应用场景 欢迎参加“人工智能代理入门”课程!本课程将为您提供构建人工智能代理的基础知识和实用示例。 加入Azure AI Discord社区,与其他学习者和AI代理开发者交流,解答您在课程中的疑问。 课程开始,我们将深入了解什么是人工智能代理,以及如何在应用程序和工作流程中有效使用它们。 课程内容 本课涵盖: 什么是人工智能代理及其不同类型? 人工
AI资讯如果你还没有关注AI实验室PrismML,现在应该开始关注了——这并非因为它筹集了大量资金(目前仅完成了2225万美元的种子轮融资),而是因为其背后的技术团队以及正在开发的潜在行业变革性技术。 PrismML的核心理念是:高性能、具备推理能力的大型语言模型(LLM)其实不必庞大。 他们正在打造体积极小的推理模型,使其能够运行在个人电脑和智能手机上。(据传PrismML甚至正在与苹果洽谈合作,但CE
AI资讯尽管谷歌的人工智能不再建议用户“吃石头”或自信地告诉用户在披萨上涂胶水,但即使是最先进的AI聊天机器人在提供医疗建议方面仍然表现极其不可靠。 本周发表在《JAMA Network Open》期刊上的一项新研究中,研究人员让21个前沿大型语言模型(LLMs)在面对真实且患者可能提出的症状时“扮演医生”角色。 结果令人震惊。当面对可能对应多种疾病的模糊症状时,AI的失败率超过80%;即使是包含体检发
AI资讯在AI热潮的背后,隐藏着一个现实难题:企业为AI工具支付天价费用,但这些工具的价值仍无法媲美一名称职的人类员工。随着AI公司及其投资者不断投入数十亿美元进行AI研发,这种矛盾的后果正逐渐显现于美国各地的办公室和商铺中。 例如,金融科技公司Slash最近鼓励员工尽可能多地使用AI编程工具,这种行为被称为“代币最大化”,旨在提升生产力并降低成本。然而,语言模型(LLM)代币价格过高且实用性有限,难以实
AI资讯DeepSeek正处于首轮风险投资融资谈判中,短短几周内,其潜在估值已从200亿美元飙升至450亿美元,《金融时报》和彭博社报道。 这家中国人工智能实验室于2025年初崭露头角,推出了一款大型语言模型,该模型在计算资源和成本上仅为美国大型模型(如OpenAI和Anthropic)的部分,表现出色。此后,DeepSeek在推理和编程等领域与全球顶尖模型保持合理的竞争速度,同时其模型权重保持开放,版本
AI资讯9月5日(美国时间),支持在本地环境运行大型语言模型(LLM)的桌面应用“Ollama”更新至v0.34.0版本。此次更新的亮点是用户可以直接通过“Ollama”应用设置与“ChatGPT”桌面应用的联动,实现熟悉的“ChatGPT”工作流程同时运行开放模型。 “Ollama”支持下载并本地运行管理包括“Gemma”、“Qwen”、“Llama”等开放大型语言模型,同时也能访问云端模型。它提供图
AI资讯Nextorage宣布开发外置AI加速器兼高速存储设备,旨在大幅提升客户自有环境中的生成式AI性能,预计2026年底发布。
AI资讯MSI发布支持本地运行120B级大型语言模型的AI工作站,配备128GB统一内存和2TB SSD,助力高效AI工作流程。
AI资讯人工智能模型迅速增多,竞争异常激烈。在众多参与者争夺市场的情况下,谁能成为最优秀的模型?又由谁来决定?Arena(前身为LM Arena)已经成为前沿大型语言模型(LLM)的事实公共排行榜,影响着资金投入、产品发布和公关周期。仅仅七个月时间,这家初创公司就从加州大学伯克利分校的博士研究项目,发展到估值达到17亿美元。 在《Equity》节目中,主持人Rebecca Bellan采访了Arena的联
AI资讯2023年9月16日,美国时间,Mozilla宣布与法国Mistral AI公司达成合作。Mistral是一家成立于2023年的法国人工智能企业,专注于开发支持多语言(尤其是非英语语言)的开源大型语言模型(LLM)。该公司作为欧洲对抗美国大型AI企业(如OpenAI、Anthropic、Google等)的重要选择,备受关注。 此次合作的核心原因在于,当前集成于网页浏览器的AI技术主要由少数几家企