同期する顔を特定する
動画や画像が、人物、画角、表情、照明、目に見える顔の細部を示します。
AIリップシンクは、準備した発話音声に口の動きを合わせます。動画や画像に写る顔を使います。録音を用意するか、先に台本から音声を作ってください。その後、PexoのAI動画エージェントが、口の動きのタイミングを整えます。顔の細かい部分も調整し、確かめられるようにします。
顔と発話の素材
顔が映った動画か画像を追加します。口の動きを合わせる、話し声の録音も追加してください。
Pexoのエージェントが、2つのファイルを使います。声の調子やタイミングの指示があれば、それも使います。これらを、1つのリップシンク作業のために使います。文章のセリフしかない場合は、先に音声を準備して確かめてください。その後、顔の素材と音声を持って戻ります。
顔に発話を合わせる
リップシンクは、音声に沿って口を動かします。顔が写る動画や画像を使います。音声が、言葉とタイミングを示します。動画や画像が、人物と見た目を示します。
エージェントが、2つの素材を調整します。話す動きを、顔と録音の両方に照らして確かめられるようにします。
動画や画像が、人物、画角、表情、照明、目に見える顔の細部を示します。
録音が、口の動きの基になる言葉、リズム、間、長さを示します。
顔と発話が、同期した1本の動画になります。タイミングと、見た目がそろっているかを確かめられます。
作成の流れ
動画や画像と、発話音声を渡してください。必要なら、声の調子やタイミングの指示を加えます。その後、同期した結果を、両方のファイルと見比べます。
顔が見える動画や画像と、口の動きの基にする発話の録音を選びます。台本しかない場合は、 「AIナレーションを生成」 を使い、先に音声を準備して確認してください。
誰が話し、どんな声の調子にするかを示します。録音や映像で、とくに気を付ける必要がある部分も伝えます。
口の動きのタイミング、顔の細かい点、表情を確かめます。本人らしさや、元の映像と音声に合うかも確認してください。話す様子を確かめた後に、読みやすい字幕を加えるには、 「動画に字幕を追加」を使います。
エージェントが判断すること
エージェントが、動画や画像と発話音声を使って、口の動きを整えます。確かめるために必要な、元の情報は保ちます。
発話の録音に含まれる言葉、音、間、リズムを基に同期させます。
音声の各部分に、見える口の形を合わせます。
元の素材の人物らしさ、表情、頭の位置、照明など、顔の細かい部分を考慮します。
両方の素材を、参考として見られる状態にします。タイミングを確かめたり、変更点を絞って直すように頼んだりできます。
よくある質問
「AIナレーションを生成」で、承認済みの台本と声の指示から音声を準備します。言葉、発音、速さを確認し、その音声を顔の画像や動画と一緒に使います。リップシンクは、準備した話し声に口の動きを合わせます。
まず、ターゲット言語の文言とスピーチを準備して承認します。 AIによる動画の吹き替え は、話す音声を別の言語に置き換える機能です。その後、リップシンクで、新しい発話を顔の素材と一緒に確かめます。翻訳、発音、タイミング、使用許可を、合わせて確認してください。
顔が見える動画または画像と、口の動きが追従する音声録音を提供します。
はい。動画か画像と、置き換える発話音声をアップロードしてください。顔と、特に注意すべきタイミングを示します。
話す動画を作りたい場合は、動かない人物画像を使えます。動かない人物画像から、話す動き全体を作る場合は、「話す写真を生成」が、その作業により特化しています。
顔がはっきり見え、画角が安定した素材を使います。口元が隠れていないことも大切です。そうした素材なら、エージェントが確認に使える見た目の情報が、よりはっきりします。
口の動きのタイミング、本人らしさ、表情を確かめてください。顔の細かい部分と、本人の同意も確認します。音声と画像の権利も確かめます。結果が、その人物を適切に表しているかも確認してください。
顔の素材と発話音声から始める
動画か画像と、発話音声をアップロードします。PexoのAI動画エージェントで、タイミングを確かめます。顔の見た目がそろっているかも確認します。