AI吹き替えの声を、多言語動画に

AI吹き替えは生成音声で動画の新しい音声トラックを作る方法で、別の言語にする場合もあります。Cartesiaの音声合成モデルSonicは、原稿から音声を生成します。翻訳を準備・確認し、PlaygroundかAPIで音声を作成してから、エディターで動画に合わせて配置・ミックスしてください。

この制作方法は、話してほしい言語の文章から始まります。Cartesiaの音声合成PlaygroundとAPIは、その文章から音声を生成します。ここで紹介する動画の翻訳と編集の全工程を行うものではありません。生成前に文字起こしと翻訳を用意し、編集ツールで完成版を組み立ててください。

Sonicは入力された原稿から音声を生成します。翻訳、映像への音声の位置合わせ、口の動きとの同期は別の制作工程です。翻訳した原稿と完成音声を流暢な話者に確認してもらい、特に名前、専門用語、ユーモア、画面に依存する指示に注意してください。

Sonicは英語、スペイン語、フランス語、ドイツ語、日本語、ポルトガル語、中国語などに対応しています。言語別ページで音声例を聴き、公開を計画する前に現在のモデルガイドを確認してください。リクエストの言語を翻訳済み原稿に合わせ、聞き手に合う声を選びましょう。

自分の声か、クローンと使用の明示的な許可を得た声なら、クローンを作れます。Instant Voice Cloneから始めてください。別のアクセントに合わせる場合は、新しい音声IDを作るLocalize Voice APIを使えます。結果は流暢な話者と確認してください。クローニングは原稿を翻訳しません。

場面や話者の切り替わりで原稿を区切り、まず短い部分を生成してください。映像と合わせて聴き、言葉、間、編集を修正します。Sonicの速度設定は話し方への指針で、正確な長さを保証しません。Professional Voice Cloneは学習録音のテンポを使います。音声コントロールガイドをご覧ください。

音声合成Bytes APIはWAV、MP3、raw音声を返します。エディターや制作工程が求める形式とサンプルレートを選んでください。MP3圧縮のないファイルが必要な場合はWAVが便利です。修正版が正しいクリップに置き換わるよう、場面名と言語ラベルを統一してください。

ナレーションは動画、授業、プレゼンテーションに音声トラックを加えます。吹き替えは新しい聞き手に合わせて台詞を置き換えたり調整したりし、翻訳や場面への位置合わせを伴うことが多くあります。Cartesiaはどちらの用途でも話し声を生成し、動画編集は制作ツールで行います。

話者と場面ごとに原稿を分けます。話者ごとに声を選び、割り当てを統一して、個別に確認できる単位で生成してください。録音をエディターに配置し、台詞の切り替わりが正しいタイミングで起きるか確認します。

各サンプルは別々の物語の一節です。異なる言語の声を示しており、この日本語ページには参考訳を添えています。自分のプロジェクトを評価するには、翻訳した場面を用意し、意図する映像や話し方と生成音声を比較してください。

Cartesiaの有料プランには商用利用ライセンスが含まれます。動画、原稿、クローンする声についても、意図する用途での使用権が必要です。公開前に料金、利用規約、許容される利用に関するポリシーを確認してください。