算力供给、GPU、数据中心与能源——决定 AI 运行成本的物理层。
47 条
算力供给、能源与数据中心容量决定了 AI 运行的成本。基础设施的变化会在数周后体现在推理成本上。
NVIDIA 正在使用 Palantir Foundry 和 cuOpt 自动执行其在全球制造基地的硬件供应链分配决策。该公司衡量从晶圆输出到第一个代币的运营交付。这风……
文章网址：https://system76.com/workstations/thelio-mira-ai 评论网址：https://news.ycombinator.com/item?id=49651372 积分：18 # 评论：9
Amazon SageMaker Inference 现在提供前缀感知路由，这是一种将共享相同提示前缀的请求发送到同一实例的路由策略，以便 KV 缓存保持温暖。在 Llama 3.1 70B 的基准测试中，它减少了……
NVIDIA 详细介绍了 BioNeMo Inference Runtime (BioIR)，这是一个 Python 库，可在 NVIDIA GPU 上加速生物分子结构预测模型，同时保留在普通 PyTorch 中。在 1,000 人一毛钱的匹配基准中……
Amazon SageMaker HyperPod 现在支持用于推理的模型缓存，它将模型权重和容器映像预加载到集群节点上，以便 Pod 从本地 NVMe 存储中读取，而不是通过网络下载。莉亚…
OpenAI 已发布公共测试版 Agents API。它为开发人员提供了与运行 Codex 相同的工具和基础设施。 OpenAI 托管并维护该工具。开发人员在 OpenAI 管理的环境中运行代理的计算……
OpenAI 首席执行官 Sam Altman 在媒体参观 Stargate AI 数据中心期间。 |彭博社来自盖蒂图片社 另一位研究人员正在挑战 OpenAI 的数据驱动其日益令人印象深刻的……
2026 年 7 月 22 日，弗吉尼亚州阿什本（全球最大数据中心集群的中心）发生输电线路故障，几秒钟内导致超过 3 吉瓦的负载断电。这已经不是第一次了。两年…
目光长远的代理人已将法学硕士服务变成了投入繁重的工作量。重复的预填充和百万个令牌上下文会导致 KV 缓存对 HBM、SSD 容量和带宽造成压力。 DeepSeek AI 构建了其最新版本……
马萨诸塞州已成为几个月来第三个对数据中心开发实施新限制的州。
TorchServe 不再维护，让团队拥有整个 GPU 推理堆栈。 AWS Ray Serve 深度学习容器是一个受支持且经过预先测试的容器，具有框架、GPU 驱动程序和服务层……
开普勒计算公司声称，一种新的芯片设计方法和专有材料可以帮助结束导致内存价格飙升的供应瓶颈。
阿根廷的巴塔哥尼亚作为大型人工智能数据中心的可能地点而引起人们的关注。这篇文章巴塔哥尼亚拥有人工智能数据中心想要的东西，包括迄今为止没有阻力，首先出现在解码器上。
ASML 已赢得三星、台积电和英特尔的支持，转用更大的光掩模，这将使其最新 EUV 机器的吞吐量提高 40%。与此同时，华为正在策划中国的反战略，旨在……
谷歌最新的人工智能天气预报模型可以预测距地面 100 米的风速，大约相当于现代风力涡轮机的高度。它还预测云量和到达地表的阳光量，以及……
文章网址：https://newsroom.arm.com/blog/arm-mali-g2-ultra-nx-ai-native-mobile-graphics 评论网址：https://news.ycombinator.com/item?id=49605511 积分：43 # 评论：26
文章网址：https://www.bbc.com/news/articles/c0m39g7xzevo 评论网址：https://news.ycombinator.com/item?id=49604956 积分：15 # 评论：14
文章网址：https://www.ft.com/content/ea9a9dcc-b1df-49b0-b80c-f320161b9efa 评论网址：https://news.ycombinator.com/item?id=49593778 积分：18 # 评论：9
文章网址：https://rocm.blogs.amd.com/ecosystems-and-partners/rocm-x-blog/README.html 评论网址：https://news.ycombinator.com/item?id=49592508 积分：15 # 评论：0
人工智能研究人员可以提出的实验数量远远超出他们的承受能力。 Meta FAIR、牛津大学和伦敦大学学院推出人工智能研究偏好模型——冻结法学硕士评委，对 15 名未执行的候选人进行排名，并仅执行……
民意调查显示，绝大多数美国人讨厌数据中心。中国成为科技领导者及其盟友的完美替罪羊——唯一的问题是缺乏证据。
人工智能搜索产品的检索质量受到两件事的限制：嵌入模型有多好，以及在索引中运行它的成本有多低。本周，Perplexity Engineering 团队在 GP 上发布了 Fast Embeddings……
Nous Research 将本地模型设置压缩为只需在 Hermes Desktop 中单击即可。该应用程序读取您的硬件，根据您的 GPU 检查目录，选择适合的最高质量版本，下载它，然后配置...
Deepseek希望将16万颗华为Ascend-950DT芯片放入内蒙古数据中心，仅用于推理，而不是训练。这将是已知最大的华为芯片集群。但生产瓶颈意味着华为可能...
距离申请在 TechCrunch Disrupt 2026 期间举办边会并在硅谷留下自己的印记还有不到 24 小时的时间。请在太平洋时间今晚午夜申请截止前申请。
Ugreen 的 HomeAgent H100 Pro 集线器结合了本地存储、设备上人工智能和新的语音助手 Uliya，来运行您的智能家居。 |摄影：Jennifer Pattison Tuohy / The Verge Ugreen 以其手机移动电源而闻名，...
Nvidia 的 PAIR（个人 AI 路由器）自动将本地 AI 请求传播到家庭网络上的所有可用设备上，从而缩短并行代理任务的等待时间。文章 Nvidia 希望您的家庭网络正常工作......
Perplexity 为其 Mac 应用程序提供了混合计算，将单个 Perplexity 计算机任务拆分为云中的前沿模型和在用户计算机上运行的紧凑模型。任务从云端开始，面向海洋……
Nvidia 宣布推出新的个人 AI 路由器 (PAIR)，这是一款免费工具，可以同步您的家用计算机，以便与 Ollama 和 LM Studio 等工具一起处理本地 AI 推理任务。让我们从这个问题中得到显而易见的事情......
Sam Altman 警告全球人工智能数据中心建设存在“不可持续的愚蠢行为”。太多的 Neocloud 提供商在没有客户支持的情况下宣布提供巨大的容量。他还承认计算能力下降......
特朗普总统强烈反对美国各地对人工智能数据中心日益增长的反对声音。特朗普表示，针对人工智能数据中心的抗议文章正中中国的下怀，该文章首先出现在解码器上。
十多年前，我领导了美国核电站首个全数字控制系统的控制设计。从纸面上看，它是一台漂亮的机器，旨在以现代航空公司的方式运行......
大多数生产语音堆栈都是三个系统缝合在一起的。一个模型负责转录，第二个模型负责分离说话者，探测器则决定用户何时停止说话。每次切换都会增加延迟和新的故障模式……
代理助理有一个结构性问题：使它们有用的上下文（交易文档、特权文件、客户记录）正是用户无法发送到云端点的上下文。本周，困惑……
如果您拥有一台家用服务器、一台游戏电脑，或者只是一台不太受欢迎的笔记本电脑，请听好。您现在可以利用闲置的计算能力，并在此过程中赚取一些被动收入。人工智能公司正在...
Nvidia 将于本周正式推出 DLSS 5，此前我们在 3 月份发布了一项引起争议的公告，当时我们将 AI 升级技术比作“视频游戏的实时生成 AI 过滤器”和“视频游戏的运动平滑……”
语音代理早在智能方面失败之前就因延迟而失败。第一个令牌的时间是大多数团队用来选择推理 API 的指标，它是正确的起点和错误的停止点。这条长凳…
该公司正在测试机器人执行可由技术人员执行的任务。
新一代数据中心系统通过更智能的流量控制而不仅仅是更多的处理器周期来提高效率。
Comulytic Note Pro AI 录音机将强大的功能集成到信用卡大小的设备中。但它的用处取决于你。
正如新的数据中心面临邻近社区日益强烈的反对一样，美国环境保护署 (EPA) 即将让人们更难对这些数据中心造成的污染施加影响。美国环保局…
该公司正在测试可以交换电缆、重置服务器以及承担技术人员执行的其他任务的机器人，这加剧了一些工人对他们的工作可能面临风险的担忧。
特朗普计划通过对数据中心征税来赢得人工智能竞赛，这让科技行业感到困惑。
自托管语音人工智能需要进行可观察性权衡：驱动容量规划和成本管理的数字仍锁定在供应商容器内。 Deepgram 通过两种方式缩小了与 Amazon SageMaker AI 的差距……
当每个请求仅使用 GPU 的一小部分时，大规模提供自动语音识别 (ASR) 模型的成本高昂。了解 NVIDIA CUDA 多进程服务 (MPS) 与 Amazon EC2 G 上的 NVIDIA Triton 推理服务器如何...
谷歌正在为 Android 应用程序设定新的内存使用限制，因为人工智能数据中心会导致硬件短缺，这可能导致低成本手机内存减少。
今天，我在 Decoder 上与 Verge 高级 AI 记者 Hayden Field 谈论一些纯粹的 Decoder 诱饵：OpenAI 看似无休止的组织结构变化，以及所有这些变化似乎如何在联合创始人 Greg 的领导下巩固权力……
摘要仅供参考,请点击来源链接查看全文。演示条目为示意。