- 代码许可：mit
- 作者：r3gm
- 分类：AI 视频
- 名称：Video Dubbing (SoniTranslate)
- 来源：Hugging Face Spaces
Video Dubbing (SoniTranslate)面向需要处理视频语言内容的任务，将转写、翻译、配音和音频调整集中在同一应用中。使用时可先导入视频，再根据目标语言、语音合成和音频混合需求配置流程；较长视频可能需要更多处理时间，公开说明建议单个视频不超过15分钟。
公开功能
应用界面包含视频文件输入、音频处理、转写模型、翻译流程、输出类型和最终文件名等设置。流程还涉及说话人区分、文本转语音、音量调节与音频混合，并提供结果文件导出相关操作。
界面列出了Whisper自动语音识别模型、TTS语音合成选项，以及音高算法、音高水平、索引影响、呼吸声过滤、音量包络和辅音气声保护等语音处理参数。
适用任务
它适合把视频中的语音转换为文字，按需要进行翻译，并生成配音后的音频或视频结果。对于包含多位说话人的内容，说话人区分功能可用于辅助整理不同发言者的语音。
如果任务重点是保留原视频画面、替换或混合语音，可以结合输出类型、音量和混音设置进行处理；如果只需生成语音，也可以从文本或文档内容进入文本转语音流程。
使用思路
第一步是导入视频，并根据内容长度和处理目标选择转写、翻译或配音流程。需要翻译时，可设置翻译过程及目标语言；需要合成语音时，可选择TTS相关选项，并视情况调整音高与声音处理参数。
处理完成后，可检查音量混合、输出格式和文件命名，再导出结果。对于来自文本或文档的配音任务，可以输入文字，或提供文档及其路径作为内容来源。
使用限制与排队
公开说明指出，该应用在当前配置下仅使用零GPU资源完成转写和说话人区分，其余处理运行在CPU上，因此视频长度和处理参数可能影响等待时间。建议将视频控制在15分钟以内。
使用时如果界面出现queue，通常表示当前已有其他任务正在处理，需要等待任务结束。部分功能可能处于禁用状态；在具备GPU并调整相应配置的部署环境中，功能范围可能不同。
出现queue时应该怎么处理？
这表示当前有其他用户正在使用处理队列，需要等待当前任务完成后再继续。
可以处理多长的视频？
公开说明建议使用不超过15分钟的视频。
输出与进阶调节
应用支持结果文件相关操作，并可设置最终文件名、输出类型和边框颜色等选项。音频部分提供音量与混合调节，语音转换部分提供音高算法、音高水平、索引影响、呼吸声过滤、音量包络和辅音气声保护等参数。
这些参数适合在基础流程完成后逐项调整。若目标是让配音更贴近原始语气或减少不需要的呼吸声，可以根据听感尝试相关设置；具体效果会受到输入音频、所选模型和处理流程影响。