Nguồn cung cấp điện toán, GPU, trung tâm dữ liệu và năng lượng — lớp vật lý quyết định mức độ vận hành của AI với chi phí rẻ như thế nào.
Câu chuyện 43
Tính toán nguồn cung, năng lượng và công suất của trung tâm dữ liệu quyết định AI có thể vận hành với chi phí rẻ như thế nào. Sự thay đổi cơ sở hạ tầng xuất hiện trong chi phí suy luận vài tuần sau đó.
NVIDIA đang sử dụng Palantir Foundry và cuOpt để tự động hóa các quyết định phân bổ chuỗi cung ứng phần cứng trên khắp các địa điểm sản xuất toàn cầu. Công ty đo lường hoạt động phân phối từ wafer-out đến token đầu tiên. Cơn gió này…
URL bài viết: https://system76.com/workstations/thelio-mira-ai URL bình luận: https://news.ycombinator.com/item?id=49651372 Điểm: 18 # Bình luận: 9
Amazon SageMaker Inference hiện cung cấp tính năng định tuyến nhận biết tiền tố, một chiến lược định tuyến gửi các yêu cầu chia sẻ cùng một tiền tố lời nhắc đến cùng một phiên bản để bộ nhớ đệm KV luôn ở trạng thái ấm. Trong điểm chuẩn trên Llama 3.1 70B, nó giảm…
NVIDIA đã trình bày chi tiết về BioNeMo Inference Runtime (BioIR), một thư viện Python giúp tăng tốc các mô hình dự đoán cấu trúc phân tử sinh học trên GPU NVIDIA trong khi vẫn sử dụng PyTorch đơn giản. Trong một tiêu chuẩn phù hợp trên 1.000 xu của con người…
Amazon SageMaker HyperPod hiện hỗ trợ bộ nhớ đệm mô hình để suy luận, tải trước trọng số mô hình và hình ảnh vùng chứa lên các nút cụm để các nhóm đọc từ bộ lưu trữ NVMe cục bộ thay vì tải xuống qua mạng. Lea…
OpenAI đã phát hành API đại lý ở phiên bản beta công khai. Nó cung cấp cho các nhà phát triển cơ sở hạ tầng và khai thác tương tự như chạy Codex. OpenAI lưu trữ và duy trì hoạt động khai thác. Các nhà phát triển chạy tính toán của tác nhân trong hệ thống do OpenAI quản lý…
URL bài viết: https://www.theverge.com/ai-artificial-intelligence/993263/where-does-openai-get-mathematics-training-data URL bình luận: https://news.ycombinator.com/item?id=49641792 Điểm: 55 # Bình luận: 67
Vào ngày 22 tháng 7 năm 2026, một sự cố đường truyền ở Ashburn, Virginia—trung tâm của cụm trung tâm dữ liệu lớn nhất thế giới—đã khiến hơn 3 gigawatt tải ra khỏi lưới điện trong vài giây. Và đó không phải là lần đầu tiên. Hai năm…
Các đại lý có tầm nhìn dài đã biến việc phân phát LLM thành khối lượng công việc nặng về đầu vào. Việc điền trước nhiều lần và bối cảnh hàng triệu mã thông báo để lại bộ nhớ đệm KV gây áp lực lên HBM, dung lượng SSD và băng thông. DeepSeek AI đã xây dựng bản phát hành mới nhất của mình…
Massachusetts đã trở thành tiểu bang thứ ba trong nhiều tháng áp dụng các hạn chế mới đối với việc phát triển trung tâm dữ liệu.
TorchServe không còn được duy trì, khiến các nhóm phải sở hữu toàn bộ ngăn xếp suy luận GPU. Bộ chứa Deep Learning của AWS Ray Serve là bộ chứa được hỗ trợ, thử nghiệm trước với khung, trình điều khiển GPU và lớp phục vụ…
Kepler Computing tuyên bố một cách tiếp cận mới đối với thiết kế chip—và vật liệu độc quyền—có thể giúp chấm dứt tình trạng tắc nghẽn nguồn cung khiến giá bộ nhớ tăng vọt.
Patagonia của Argentina đang thu hút sự chú ý như một địa điểm khả thi cho các trung tâm dữ liệu AI lớn. Bài báo Patagonia có những gì mà trung tâm dữ liệu AI mong muốn, bao gồm cả việc không có sự phản kháng nào cho đến nay đã xuất hiện đầu tiên trên The Decode.
ASML đã chiến thắng Samsung, TSMC và Intel để chuyển sang mặt nạ ảnh lớn hơn, điều này sẽ giúp tăng thông lượng của các máy EUV mới nhất của họ lên 40%. Trong khi đó, Huawei đang dàn dựng chiến lược phản công của Trung Quốc, nhằm…
Mô hình dự báo thời tiết AI mới nhất của Google dự đoán tốc độ gió ở độ cao 100 mét so với mặt đất, gần bằng chiều cao của một tuabin gió hiện đại. Nó cũng dự báo độ che phủ của mây và lượng ánh sáng mặt trời chiếu tới bề mặt, và…
URL bài viết: https://newsroom.arm.com/blog/arm-mali-g2-ultra-nx-ai-native-mobile-graphics URL bình luận: https://news.ycombinator.com/item?id=49605511 Điểm: 43 # Bình luận: 26
URL bài viết: https://www.bbc.com/news/articles/c0m39g7xzevo URL bình luận: https://news.ycombinator.com/item?id=49604956 Điểm: 15 # Bình luận: 14
URL bài viết: https://www.ft.com/content/ea9a9dcc-b1df-49b0-b80c-f320161b9efa URL bình luận: https://news.ycombinator.com/item?id=49593778 Điểm: 18 # Bình luận: 9
URL bài viết: https://rocm.blogs.amd.com/ecosystems-and-partners/rocm-x-blog/README.html URL nhận xét: https://news.ycombinator.com/item?id=49592508 Điểm: 15 # Nhận xét: 0
Các cơ quan nghiên cứu AI có thể đề xuất nhiều thử nghiệm hơn khả năng thực hiện của họ. Meta FAIR, Oxford và UCL giới thiệu Mô hình ưu tiên nghiên cứu AI - các thẩm phán LLM cố định xếp hạng 15 ứng viên chưa được thực thi và chỉ thực hiện…
Các cuộc thăm dò cho thấy đại đa số người Mỹ ghét các trung tâm dữ liệu. Trung Quốc trở thành vật tế thần hoàn hảo cho các nhà lãnh đạo công nghệ và đồng minh của họ – vấn đề duy nhất là thiếu bằng chứng.
Chất lượng truy xuất trong một sản phẩm tìm kiếm AI bị giới hạn bởi hai điều: mô hình nhúng tốt đến mức nào và bạn có thể chạy nó trên một chỉ mục với chi phí rẻ như thế nào. Tuần này, nhóm Kỹ thuật Perplexity đã xuất bản tính năng Nhúng nhanh trên GP…
Nous Research đã thu gọn thiết lập mô hình cục bộ chỉ bằng một cú nhấp chuột trên Hermes Desktop. Ứng dụng đọc phần cứng của bạn, kiểm tra độ phù hợp của danh mục với GPU của bạn, chọn bản dựng chất lượng cao nhất phù hợp, tải xuống và…
Deepseek muốn đưa 160.000 chip Huawei Ascend-950DT vào trung tâm dữ liệu Nội Mông chỉ để suy luận chứ không phải đào tạo. Đây sẽ là cụm chip lớn nhất được biết đến của Huawei. Nhưng tắc nghẽn sản xuất có nghĩa là Huawei có thể gặp khó khăn…
Chỉ còn chưa đầy 24 giờ để đăng ký tổ chức Sự kiện phụ trong TechCrunch Disrupt 2026 và ghi dấu ấn của bạn tại Thung lũng Silicon. Hãy đăng ký trước khi đơn đăng ký đóng vào lúc nửa đêm theo giờ Thái Bình Dương tối nay.
Trung tâm HomeAgent H100 Pro của Ugreen kết hợp bộ nhớ cục bộ, AI trên thiết bị và trợ lý giọng nói mới, Uliya, để vận hành ngôi nhà thông minh của bạn. | Ảnh của Jennifer Pattison Tuohy / The Verge Ugreen, nổi tiếng với sạc dự phòng điện thoại, cha…
PAIR (Bộ định tuyến AI cá nhân) của Nvidia tự động phân tán các yêu cầu AI cục bộ trên tất cả các thiết bị có sẵn trên mạng gia đình, giảm thời gian chờ đợi cho các tác vụ tác nhân song song. Bài viết Nvidia muốn mạng gia đình của bạn hoạt động…
Perplexity đã cung cấp tính toán kết hợp cho ứng dụng Mac của mình, phân chia một tác vụ Perplexity Computer duy nhất giữa các mô hình biên giới trên đám mây và một mô hình nhỏ gọn chạy trên máy của người dùng. Nhiệm vụ bắt đầu trên đám mây cho biển…
Nvidia đang công bố Bộ định tuyến AI cá nhân (PAIR) mới, một công cụ miễn phí đồng bộ hóa máy tính ở nhà của bạn để giải quyết các tác vụ suy luận AI cục bộ bằng các công cụ như Ollama và LM Studio. Hãy cùng tìm hiểu điều hiển nhiên này…
Sam Altman cảnh báo về "sự ngu xuẩn không bền vững" trong quá trình xây dựng trung tâm dữ liệu AI toàn cầu Quá nhiều nhà cung cấp Neocloud đang công bố dung lượng lớn mà không có khách hàng hỗ trợ. Ông cũng thừa nhận rằng việc tính toán ngày càng sa sút…
Tổng thống Trump đã đẩy lùi mạnh mẽ sự phản đối ngày càng tăng đối với các trung tâm dữ liệu AI trên khắp nước Mỹ. Bài báo Các cuộc biểu tình phản đối các trung tâm dữ liệu AI rơi vào tay Trung Quốc, Trump cho biết đã xuất hiện đầu tiên trên The Decoder.
Cách đây hơn một thập kỷ, tôi đã chỉ đạo thiết kế bộ điều khiển cho hệ thống điều khiển kỹ thuật số hoàn chỉnh đầu tiên cho một nhà máy hạt nhân của Hoa Kỳ. Trên giấy tờ, nó là một cỗ máy đẹp đẽ—được thiết kế để tự vận hành theo cách của một hãng hàng không hiện đại…
Hầu hết các ngăn xếp giọng nói sản xuất đều là ba hệ thống được kết hợp với nhau. Một mô hình phiên âm, một mô hình thứ hai tách loa và một máy dò sẽ quyết định thời điểm người dùng ngừng nói. Mỗi lần chuyển giao sẽ tăng thêm độ trễ và khả năng xảy ra lỗi mới…
Trợ lý đại lý có một vấn đề về cấu trúc: bối cảnh khiến chúng trở nên hữu ích — tài liệu giao dịch, tệp đặc quyền, hồ sơ khách hàng — chính xác là bối cảnh mà người dùng không thể gửi đến điểm cuối trên đám mây. Tuần này, Sự bối rối s…
Nếu bạn sở hữu một máy chủ tại nhà, một máy tính chơi game hoặc chỉ một chiếc máy tính xách tay không được nhiều người yêu thích, hãy lắng nghe. Bây giờ bạn có thể sử dụng sức mạnh tính toán dự phòng đó và kiếm được một số thu nhập thụ động trong quá trình này. Các công ty AI đang…
Nvidia sẽ chính thức ra mắt DLSS 5 trong tuần này, sau một thông báo gây chia rẽ vào tháng 3, nơi chúng tôi ví công nghệ nâng cấp AI với “bộ lọc AI tạo ra thời gian thực cho trò chơi điện tử” và “làm mượt chuyển động cho trò chơi video…
Tác nhân giọng nói thất bại về độ trễ từ lâu trước khi thất bại về trí thông minh. Thời gian đến mã thông báo đầu tiên là số liệu mà hầu hết các nhóm sử dụng để chọn API suy luận và đó là điểm bắt đầu phù hợp cũng như điểm dừng sai. Chiếc ghế này…
Công ty đang thử nghiệm robot thực hiện các nhiệm vụ mà kỹ thuật viên có thể thực hiện.
Thế hệ hệ thống trung tâm dữ liệu mới đang tăng cường hiệu quả với khả năng kiểm soát lưu lượng thông minh hơn thay vì chỉ cần nhiều chu kỳ xử lý hơn.
Máy ghi âm Comulytic Note Pro AI chứa rất nhiều năng lượng vào một thiết bị có kích thước bằng thẻ tín dụng. Nhưng tính hữu dụng của nó tùy thuộc vào bạn.
Ngay khi các trung tâm dữ liệu mới phải đối mặt với phản ứng dữ dội ngày càng tăng từ các cộng đồng lân cận, Cơ quan Bảo vệ Môi trường Hoa Kỳ (EPA) sắp khiến mọi người khó cân nhắc hơn về bất kỳ tình trạng ô nhiễm nào mà các trung tâm đó tạo ra. EPA…
Công ty đang thử nghiệm các robot có thể hoán đổi dây cáp, đặt lại máy chủ và đảm nhận các nhiệm vụ khác do kỹ thuật viên thực hiện, khiến một số công nhân lo ngại rằng công việc của họ có thể gặp rủi ro.
Ngành công nghệ bối rối trước kế hoạch giành chiến thắng trong cuộc đua AI của Trump bằng cách đánh thuế các trung tâm dữ liệu.
Các bản tóm tắt chỉ được tổng hợp để cung cấp thông tin - hãy nhấp vào liên kết nguồn để xem toàn bộ câu chuyện. Các mục demo có tính minh họa.