36 氪獲悉，開源解決方案提供商紅帽公司近日宣布推出紅帽 AI 推理服務器（Red Hat AI Inference Server），這是在混合云中普及生成式 AI（gen AI）的重要一步。作為紅帽 AI 中的新產品，該企業級推理服務器源自強大的 vLLM 社區項目，并通過紅帽對 Neural Magic 技術的集成進一步增強，可以提供更高的速度、加速器效率和成本效益，助力實現紅帽 " 在任意云環境中的任意 AI 加速器上運行任意生成式 AI 模型 " 的愿景。
36氪
12小時前
紅帽公司宣布推出紅帽 AI 推理服務器
相關標簽
