周三早上十点有个英文评审会,你戴着耳机,对方讲到第三页 PPT,字幕翻译还停在第一页的最后一句话。市面上的商用同传 API 按分钟收费,一场两小时的跨国会开下来,成本不比请真人译员便宜多少。10 月 26 日,腾讯混元把自家的同声传译大模型 Hy-SimulMT 开源了:中英双向、语音进语音出、边听边译,官方给的实测响应时延在 3 秒左右——作为对照,人类专业译员的平均水平是 4 到 5 秒。
先用数据说清楚它的底子。在业界常用的长音频评测集 RealSI 上,Hy-SimulMT 做到了”延迟最低 + 质量最高”同时成立,翻译质量分数超过了参与对比的全部开源同传模型,也超过了 5 个商用 API 中的 4 个。腾讯另外收集了 18 段真实场景音频,请 6 位持 CATTI 一级或二级证书的同传译员做对照,在这次限定测评里,模型的翻译质量达到了参测译员的水平,速度更快。注意这个结论的范围:它说的是”这次测评”,不等于所有场景都能顶替真人。
路线一:装个 App 就能用,免费
大多数人不用碰代码。Hy-SimulMT 在「腾讯 Hy 翻译」App 里首发,免费提供体验,iOS 和 Android 都有,App Store 中国区(含港澳台)已经上架。装好之后选好翻译方向,对着手机说话就行,译文和语音几乎是同步出来的。这个 App 本身支持 33 种语言互译,同传能力是其中新上的部分。11 月深圳开 APEC 会议,它就是志愿者的官方 AI 翻译应用,能上这种场合,稳定性多少有点背书。
路线二:本地部署,给技术党
想自己跑模型,门槛比装 App 高不少,但过程是标准化的:
- 下载模型:Hugging Face 或 ModelScope 上有完整合集。命名规律好认:Hy-SimulMT-30B-A3B 是基础版(只输出译文),带 Interleave 的是原文加译文对照输出,FP8 和 GGUF 后缀是量化版,显存紧张就优先看这两个。
- 准备环境:Linux 系统、Python 3.12 以上、一块装得下模型的 NVIDIA GPU。官方没公布最低显存,30B 级别的模型别指望入门卡。
- 一键部署:git clone 官方仓库,进 SimulInfer 目录,跑
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave,脚本会自动装依赖、起 vLLM 和网页服务。默认模型服务走 8800 端口,网页和 API 走 8080。 - 开始翻译:终端出现 Ready 后,浏览器打开 127.0.0.1:8080,选翻译方向,传音频文件或直接开麦克风。也支持命令行流式调用:
curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav,中译英把 direction 换成 zh-en。
几个容易踩的坑
别把”3 秒”理解错了。官方说的约 3 秒是 StreamLAAL 流式滞后指标,衡量的是译文输出相对输入音频的整体延迟,不是”说完一句话 3 秒后译文语音就出来”。对延迟敏感的场合要有心理预期。
同传”先开口、后修补”是设计不是 bug。为了压延迟,系统会先说出主干信息,再补一句修正,听感接近人类译员的自我修正。第一次用觉得”它怎么话说一半又改口”,这是特性。
语音输出和音色克隆要另配 TTS。模型本体负责识别加翻译、输出文本,音色克隆由独立的 TTS 组件完成,本地部署时需要在 config.toml 里配置,纯文本翻译不用管。另外远程用麦克风必须走 HTTPS,本地 127.0.0.1 才能用 http。
高风险场合请人。官方自己都写明了:需要严格责任判断、专业审校的场景,比如法律、医疗、正式商务谈判,专业译员仍然不可替代。而且这条链路是级联架构,语音识别的错误会往下游传导,嘈杂环境里效果会打折扣。
FAQ
Q:完全免费吗?
A:Hy 翻译 App 的同传功能免费体验;开源权重可以自部署,但服务器和电费自理。
Q:除了中英还支持别的语言吗?
A:同传模型目前主打中英双向;Hy 翻译 App 整体支持 33 种语言互译,是否都能走同传模式以 App 内实际提供为准。
Q:没有 Linux 和 GPU 能玩吗?
A:能,走 App。本地部署是给有服务器或者想二开的人准备的。
Q:跟录音转文字工具比呢?
A:定位不同。会开完了再做纪要,用 Whisper 那类转写工具就行(参考我们之前写的录音转文字免费方案);需要当场听懂、当场回应,才轮到实时同传。如果你对零代码搭建自动化流程有兴趣,也可以看看扣子(Coze)搭建教程。