動画の多言語吹き替えをAIで大量自動化——Descriptの新技術

当サイトではアフィリエイトプログラムを利用して商品を紹介しています。

動画編集ツールを開発するDescriptが、OpenAIの推論モデルを活用した多言語吹き替えの自動化システムを発表しました。従来の翻訳・吹き替え作業は言語の専門家が手作業で行う必要があり、コストと時間がかかっていましたが、同社はAIを使ってこの工程を大幅に短縮することに成功しました。\n\n最大の課題は「タイミングのずれ」でした。言語によって同じ内容を伝えるのにかかる時間が異なるため、吹き替え音声が映像に合わなくなる問題が頻繁に発生。たとえば英語と比べてドイツ語は同じ内容を伝えるのに約40%多い音節が必要なケースもあり、音声が不自然にスピードアップ・スローダウンされるという苦情が最も多かったといいます。\n\n新システムでは、テキストを小さな単位に分割し、各ブロックの音節数を計算。言語ごとの話す速さの基準をもとに翻訳後の目標音節数を設定し、意味と時間の両方を同時に最適化する仕組みを構築しました。その結果、自然なペースに収まる吹き替えの割合が40〜60%から73〜83%に向上し、公開後30日間で吹き替え動画のエクスポート数が15%増加しました。\n\n今後はテキストだけでなく音声・映像も組み合わせたマルチモーダルな翻訳パイプラインの構築を目指しており、声のトーンや話し方のニュアンスまで再現できるシステムへの進化が見込まれます。