首页 > 新闻 > 科技 > 科技关注

英伟达:DeepSeek R1现正式上线英伟达NIM平台

时间:2025-01-31 浏览:

【环球网科技综合报道】1月31日消息,根据英伟达官网信息显示,推理开放模型DeepSeek R1现已在NVIDIA NIM(NVIDIA Inference Microservice)平台上提供预览版。

DeepSeek R1是一个具备领先推理能力的开放模型,专为需要复杂逻辑推理、数学计算、编码及语言理解任务设计。该模型采用了一系列高级方法,如思路链、共识和搜索等,以确保能够生成最优质的答案。不同于直接响应查询的传统模型,DeepSeek R1通过多次推理来优化结果,这种测试时间扩展的方法对于实现实时推理和更高质量的响应至关重要。

据英伟达官方公告,6710亿参数的DeepSeek R1模型现可通过build.nvidia.com上的NIM微服务进行访问,这为开发人员提供了安全试验这些功能的机会,并支持他们构建自己的专用代理。此外,DeepSeek R1 NIM微服务能够在单个NVIDIA HGX H200系统上每秒处理多达3,872个令牌,极大提升了效率和响应速度。

为了简化部署流程,DeepSeek R1 NIM微服务兼容行业标准API,并作为NVIDIA AI Enterprise软件平台的一部分提供给用户。企业可以通过在其选择的加速计算基础设施上运行NIM微服务,最大化保障数据隐私和安全性。同时,利用NVIDIA AI Foundry和NVIDIA NeMo软件,企业还能定制化开发专门的AI代理服务。(勃潺)

猜你喜欢: