NVIDIA는 단일 DGX Spark에서 3가지 스택 최적화가 어떻게 MoE 추론 속도를 높이는지 보여줍니다. Ant Group 포함AI의 124B Ling-3.0 플래시에서 GSM8K 디코드 처리량은 감지 가능한 정확도 변화 없이 42.5% 증가했습니다. 게시물 NVID…
컴퓨팅 공급, 에너지 및 데이터 센터 용량은 AI를 얼마나 저렴하게 실행할 수 있는지를 결정합니다. 인프라 변화는 몇 주 후에 추론 비용에 나타납니다.
요약은 정보 제공 목적으로만 집계되었습니다. 전체 내용을 보려면 소스 링크를 따르세요. 데모 항목은 예시입니다.