SGLang-Neuron은 이제 AWS Deep Learning Container를 통해 공개적으로 제공됩니다. SGLang-Neuron을 사용하면 동일한 SGLang int를 사용하여 AWS Trainium에서 SGLang으로 모델을 제공하고 강화 학습 롤아웃을 생성할 수 있습니다.
새로운 모델은 기능과 가격 대비 성능의 경계를 재설정합니다. 팀은 출시로 인해 달러당 가능한 것이 바뀔 때마다 무엇을 구축할지 재평가합니다.
요약은 정보 제공 목적으로만 집계되었습니다. 전체 내용을 보려면 소스 링크를 따르세요. 데모 항목은 예시입니다.