Pasokan komputasi, GPU, pusat data, dan energi — lapisan fisik yang menentukan seberapa murah AI dijalankan.
cerita 45
Menghitung pasokan, energi, dan kapasitas pusat data menentukan seberapa murah AI dapat dijalankan. Pergeseran infrastruktur muncul dalam biaya inferensi beberapa minggu kemudian.
NVIDIA menggunakan Palantir Foundry dan cuOpt untuk mengotomatiskan keputusan alokasi rantai pasokan perangkat kerasnya di seluruh lokasi manufaktur global. Perusahaan mengukur pengiriman operasional dari wafer-out hingga token pertama. Angin ini…
URL Artikel: https://system76.com/workstations/thelio-mira-ai URL Komentar: https://news.ycombinator.com/item?id=49651372 Poin: 18 # Komentar: 9
Amazon SageMaker Inference kini menawarkan perutean sadar awalan, sebuah strategi perutean yang mengirimkan permintaan yang berbagi awalan cepat yang sama ke instans yang sama sehingga cache KV tetap hangat. Dalam benchmark pada Llama 3.1 70B, ini mengurangi…
NVIDIA telah merinci BioNeMo Inference Runtime (BioIR), pustaka Python yang mempercepat model prediksi struktur biomolekuler pada GPU NVIDIA sambil tetap menggunakan PyTorch biasa. Dalam tolok ukur yang cocok pada 1.000 sen manusia…
Amazon SageMaker HyperPod kini mendukung caching model untuk inferensi, yang memuat bobot model dan gambar kontainer terlebih dahulu ke node klaster sehingga pod membaca dari penyimpanan NVMe lokal alih-alih mengunduh melalui jaringan. Lea…
OpenAI telah merilis Agents API dalam versi beta publik. Ini memberi pengembang manfaat dan infrastruktur yang sama dengan yang menjalankan Codex. OpenAI menghosting dan memelihara harness. Pengembang menjalankan komputasi agen dalam…
URL Artikel: https://www.theverge.com/ai-artificial-intelligence/993263/where-does-openai-get-mathematics-training-data URL Komentar: https://news.ycombinator.com/item?id=49641792 Poin: 55 # Komentar: 67
Pada tanggal 22 Juli 2026, gangguan saluran transmisi di Ashburn, Virginia—jantung dari cluster pusat data terbesar di dunia—menghancurkan lebih dari 3 gigawatt beban dari jaringan listrik dalam hitungan detik. Dan itu bukan yang pertama kalinya. Dua tahun…
Agen jangka panjang telah mengubah pelayanan LLM menjadi beban kerja yang banyak inputnya. Pengisian awal yang berulang dan konteks jutaan token meninggalkan cache KV yang membebani HBM, kapasitas SSD, dan bandwidth. DeepSeek AI membuat rilis terbarunya…
Massachusetts telah menjadi negara bagian ketiga dalam beberapa bulan yang menerapkan pembatasan baru pada pengembangan pusat data.
TorchServe tidak lagi dikelola, sehingga tim memiliki seluruh tumpukan inferensi GPU. AWS Ray Serve Deep Learning Container adalah kontainer yang didukung dan telah diuji sebelumnya dengan kerangka kerja, driver GPU, dan lapisan penyajian…
Kepler Computing mengklaim pendekatan baru terhadap desain chip—dan material yang dipatenkan—dapat membantu mengakhiri kemacetan pasokan yang menyebabkan harga memori melonjak.
Patagonia di Argentina menarik perhatian sebagai lokasi yang memungkinkan untuk pusat data AI yang besar. Artikel Patagonia memiliki apa yang diinginkan pusat data AI, termasuk tidak adanya hambatan sejauh ini muncul pertama kali di The Decoder.
ASML telah memenangkan hati Samsung, TSMC, dan Intel untuk beralih ke masker foto yang lebih besar, yang akan meningkatkan hasil mesin EUV terbarunya sebesar 40 persen. Sementara itu, Huawei sedang mengatur strategi balasan Tiongkok, dengan tujuan…
Model prakiraan cuaca AI terbaru Google memperkirakan kecepatan angin pada ketinggian 100 meter di atas permukaan tanah, kira-kira setinggi turbin angin modern. Ini juga memperkirakan tutupan awan dan berapa banyak sinar matahari yang mencapai permukaan, dan…
URL Artikel: https://newsroom.arm.com/blog/arm-mali-g2-ultra-nx-ai-native-mobile-graphics URL Komentar: https://news.ycombinator.com/item?id=49605511 Poin: 43 # Komentar: 26
URL Artikel: https://www.bbc.com/news/articles/c0m39g7xzevo URL Komentar: https://news.ycombinator.com/item?id=49604956 Poin: 15 # Komentar: 14
URL Artikel: https://www.ft.com/content/ea9a9dcc-b1df-49b0-b80c-f320161b9efa URL Komentar: https://news.ycombinator.com/item?id=49593778 Poin: 18 # Komentar: 9
URL Artikel: https://rocm.blogs.amd.com/ecosystems-and-partners/rocm-x-blog/README.html URL Komentar: https://news.ycombinator.com/item?id=49592508 Poin: 15 # Komentar: 0
Agen penelitian AI dapat mengusulkan lebih banyak eksperimen daripada kemampuan mereka untuk menjalankannya. Meta FAIR, Oxford, dan UCL memperkenalkan Model Preferensi Penelitian AI — juri LLM yang dibekukan yang memberi peringkat pada 15 kandidat yang tidak dieksekusi dan hanya mengeksekusi…
Jajak pendapat menunjukkan bahwa mayoritas masyarakat Amerika membenci pusat data. Tiongkok bisa menjadi kambing hitam bagi para pemimpin teknologi dan sekutunya—satu-satunya masalah adalah kurangnya bukti.
Kualitas pengambilan dalam produk penelusuran AI dibatasi oleh dua hal: seberapa bagus model penyematannya, dan seberapa murah Anda dapat menjalankannya di seluruh indeks. Minggu ini, tim Perplexity Engineering menerbitkan Fast Embeddings di GP…
Nous Research telah menciutkan pengaturan model lokal menjadi satu klik di Hermes Desktop. Aplikasi ini membaca perangkat keras Anda, memeriksa kesesuaian katalog dengan GPU Anda, memilih versi kualitas tertinggi yang sesuai, mengunduhnya, dan ...
Deepseek ingin menempatkan 160.000 chip Huawei Ascend-950DT ke pusat data Mongolia Dalam untuk tujuan inferensi saja, bukan untuk pelatihan. Ini akan menjadi klaster chip Huawei terbesar yang diketahui. Namun kemacetan produksi berarti Huawei mungkin…
Kurang dari 24 jam tersisa untuk mengajukan permohonan menjadi tuan rumah Acara Sampingan selama TechCrunch Disrupt 2026 dan membuat jejak Anda di kancah Silicon Valley. Lamar sebelum aplikasi ditutup malam ini tengah malam PT.
Hub HomeAgent H100 Pro Ugreen menggabungkan penyimpanan lokal, AI pada perangkat, dan asisten suara baru, Uliya, untuk menjalankan rumah pintar Anda. | Foto oleh Jennifer Pattison Tuohy / The Verge Ugreen, yang terkenal dengan bank daya ponselnya,…
PAIR (Personal AI Router) Nvidia secara otomatis menyebarkan permintaan AI lokal ke semua perangkat yang tersedia di jaringan rumah, sehingga mengurangi waktu tunggu untuk tugas agen paralel. Artikel Nvidia ingin jaringan rumah Anda berfungsi…
Perplexity telah mengirimkan komputasi hibrid untuk aplikasi Mac-nya, membagi satu tugas Perplexity Computer antara model frontier di cloud dan model ringkas yang berjalan di mesin pengguna. Tugas dimulai di cloud untuk laut…
Nvidia mengumumkan Personal AI Router (PAIR) barunya, alat gratis yang menyinkronkan komputer di rumah Anda untuk menangani tugas inferensi AI lokal dengan alat seperti Ollama dan LM Studio. Mari kita perjelas hal yang sudah jelas…
Sam Altman memperingatkan adanya "kekonyolan yang tidak berkelanjutan" dalam pembangunan pusat data AI global. Terlalu banyak penyedia Neocloud yang mengumumkan kapasitas besar tanpa pelanggan mendukungnya. Ia juga mengakui bahwa jatuhnya komputasi…
Presiden Trump telah melakukan perlawanan keras terhadap meningkatnya penolakan terhadap pusat data AI di seluruh Amerika. Artikel Protes terhadap pusat data AI ada di tangan Tiongkok, menurut Trump, muncul pertama kali di The Decoder.
Sekitar satu dekade yang lalu, saya memimpin desain kontrol untuk sistem kontrol digital penuh pertama di pembangkit listrik tenaga nuklir AS. Di atas kertas, pesawat ini adalah sebuah mesin yang indah—dirancang untuk bekerja seperti maskapai penerbangan modern…
Sebagian besar tumpukan suara produksi terdiri dari tiga sistem yang digabungkan menjadi satu. Satu model mentranskripsikan, model kedua memisahkan speaker, dan detektor memutuskan kapan pengguna berhenti berbicara. Setiap hand-off menambah latensi dan kegagalan baru…
Asisten agen memiliki masalah struktural: konteks yang menjadikannya berguna — dokumen kesepakatan, file istimewa, catatan klien — adalah konteks yang tidak dapat dikirim pengguna ke titik akhir cloud. Minggu ini, Kebingungan s…
Jika Anda memiliki server di rumah, komputer game, atau sekadar laptop yang kurang disukai, dengarkan. Anda sekarang dapat menggunakan daya komputasi cadangan tersebut dan memperoleh penghasilan pasif dalam prosesnya. Perusahaan AI adalah…
Nvidia secara resmi meluncurkan DLSS 5 minggu ini, menyusul pengumuman yang memecah belah pada bulan Maret di mana kami menyamakan teknologi peningkatan AI dengan "filter AI generatif real-time untuk video game" dan "perataan gerakan untuk video game"
Agen suara gagal dalam hal latensi jauh sebelum mereka gagal dalam hal kecerdasan. Waktu untuk token pertama adalah metrik yang digunakan sebagian besar tim untuk memilih API inferensi, dan ini merupakan titik awal yang benar dan titik perhentian yang salah. Bangku ini…
Perusahaan sedang menguji robot pada tugas-tugas yang dapat dilakukan oleh teknisi.
Sistem pusat data generasi baru meningkatkan efisiensi dengan kontrol lalu lintas yang lebih cerdas, bukan hanya siklus prosesor yang lebih banyak.
Perekam suara Comulytic Note Pro AI mengemas banyak daya ke dalam perangkat seukuran kartu kredit. Namun kegunaannya terserah Anda.
Sama seperti pusat data baru yang menghadapi reaksi keras dari masyarakat di sekitarnya, Badan Perlindungan Lingkungan AS (EPA) akan mempersulit masyarakat untuk mempertimbangkan polusi apa pun yang ditimbulkan oleh pusat data tersebut. EPA…
Perusahaan ini sedang menguji robot yang dapat menukar kabel, mengatur ulang server, dan melakukan tugas lain yang dilakukan oleh teknisi, sehingga memicu kekhawatiran di antara beberapa pekerja bahwa pekerjaan mereka mungkin berisiko.
Industri teknologi bingung dengan rencana Trump memenangkan perlombaan AI dengan mengenakan pajak pada pusat data.
AI ucapan yang dihosting sendiri membawa trade-off dalam hal observasi: angka-angka yang mendorong perencanaan kapasitas dan manajemen biaya tetap terkunci di dalam wadah vendor. Deepgram menutup kesenjangan tersebut pada Amazon SageMaker AI dengan dua ca…
Melayani model pengenalan ucapan otomatis (ASR) dalam skala besar memerlukan biaya yang mahal jika setiap permintaan hanya menggunakan sebagian kecil GPU. Pelajari cara NVIDIA CUDA Multi-Process Service (MPS) dengan NVIDIA Triton Inference Server di Amazon EC2 G…
Ringkasan dikumpulkan untuk informasi saja — ikuti tautan sumber untuk cerita selengkapnya. Entri demo bersifat ilustratif.