世界中で警鐘を鳴らしているAI吹き替えがこれだ

最近、アルゼンチン大統領のAI吹き替えが行われました。 2024年世界経済フォーラムでのハビエル・ミレイ氏のスピーチビデオスタートアップの Heygen がソーシャルメディアで急速に広まりました。

このソフトウェアは、彼のスペイン語の単語を英語に正確に翻訳しただけでなく、伝統的にビデオ業界の人間の専門家だけが独占していたタスクであるリップシンクもシームレスに処理しました。

観察者もいるが、請求ヘイゲンのバージョンのミレイは「スウォンジーで10年過ごしたバングラデシュ人」に少し似ている、という意見があるなら、私はこれらの噂を却下したいと思います。無視できないのは、AI を搭載したアルゼンチン大統領の機械的な音声とイントネーションです。

率直に言って、本物のミレイはそれよりも優れており、より感情表現が豊かに聞こえます。

最近まで、感情とイントネーションは、メディア業界の破壊を目指す AI スタートアップにとって最大の課題でした。人間は、情熱、悲しみ、怒りを声を通して表現するのがまだ得意です。しかし、状況は変わろうとしているようだ。

別の最近のショーケースこれはほとんど注目されませんでしたが、Dubformer というアムステルダムを拠点とする AI 吹き替えスタートアップによるものです。同社は、歌の中の感情やイントネーションを翻訳する技術を開発したと主張している。

自分で判断できます。

このスタートアップは、英国のロック バンド、アニマルズが 1964 年に録音した「House of the Rising Sun」の最も有名なバージョンをローカライズしました。このショーケースには、音楽表現の本質と感情の深さを捉える人間味があるように見えます。

Dubformer の CEO、アントン・ドヴォルコビッチ氏によると、同社は自動音声認識 (ASR)、テキスト読み上げ (TTS)、音声生体認証などの社内独自のテクノロジーに依存しているとのことです。

AI 実装スペシャリスト、ソリューション アーキテクト、教育者である Micah Berkley 氏は、Dubformer のテクノロジーは、AI が芸術表現の世界的な範囲を拡大する未来を形作っていると述べました。

個人的には、AI の音声や翻訳が人間の感情表現や関与に匹敵する可能性があるという考えが頭から離れません。しかし、私たちはまさに大きな変革の最前線に立っているようです。