英伟达发布新款开源语音转录模型,加码AI语音赛道

🤖 AI总结

主题

英伟达发布开源语音转录模型Nemotron 3.5 Transcribe及数据集Granary第二版。

摘要

英伟达推出开源语音模型Nemotron 3.5 Transcribe,支持40种语言转录,面向会议医疗场景,可在单芯片运行。

关键信息

  • 1 支持40种语言转录,31种语言与英语互译,可区分8名发言者。
  • 2 面向商务会议和医疗转录开发者,仅支持录制音频。
  • 3 300亿参数模型可在单芯片运行,适配多种硬件平台。

英伟达发布新款开源语音转录模型,加码AI语音赛道

英伟达于周三发布了Nemotron 3.5 Transcribe,这是一款免费、开放权重的模型,可支持多达40种语言的音频转录。该公司同时发布了其开源语音数据集Granary的第二版。

英伟达表示,Nemotron 3.5能够实现31种语言与英语之间的互译,可处理长达一小时的录音,并能区分多达八名发言者。该公司声称,这款模型在多项基准测试中的表现超越了竞争对手,其中包括Hugging Face的开放式自动语音识别(ASR)排行榜。

这些工具主要面向为商务会议和医疗转录开发应用的开发者,这两个领域也是人工智能在职场中最为成熟的应用场景之一。英伟达表示,开发者可以利用该模型、更新后的Granary数据集以及NeMo语音模型等工具,针对各行业的专业术语进行定制化开发,适配不同语言环境。不过,该模型也存在一个局限:Transcribe目前仅支持处理录制音频,尚不支持实时流处理。

尽管如此,英伟达方面承诺,这款拥有300亿参数的Transcribe模型能够在单颗芯片上运行,适用范围覆盖从搭载于新型笔记本电脑的Jetson AGX Thor机器人控制器和DGX Spark芯片,到数据中心使用的Blackwell芯片等多种硬件平台。该模型也加入了英伟达开放权重语音模型的阵营,此前该系列已包括体积虽小但性能强劲的Parakeet模型(11亿参数)。

英伟达此次推出新语音模型,正值AI语音领域发布密集的时期:本月早些时候,Mistral发布了Voxtral 3;ElevenLabs推出了面向语音智能体的实时语音功能Realtime;Salesforce也发布了其语音模型Launa-Omni。

© 版权声明

相关文章