Pexo

リップシンク

AIリップシンクは、準備した発話音声に口の動きを合わせます。動画や画像に写る顔を使います。録音を用意するか、先に台本から音声を作ってください。その後、PexoのAI動画エージェントが、口の動きのタイミングを整えます。顔の細かい部分も調整し、確かめられるようにします。

顔と発話の素材

ビジュアルとオーディオをアップロードする

顔が映った動画か画像を追加します。口の動きを合わせる、話し声の録音も追加してください。

Pexoのエージェントが、2つのファイルを使います。声の調子やタイミングの指示があれば、それも使います。これらを、1つのリップシンク作業のために使います。文章のセリフしかない場合は、先に音声を準備して確かめてください。その後、顔の素材と音声を持って戻ります。

顔に発話を合わせる

口の動きを新しい発話に合わせる

リップシンクは、音声に沿って口を動かします。顔が写る動画や画像を使います。音声が、言葉とタイミングを示します。動画や画像が、人物と見た目を示します。

エージェントが、2つの素材を調整します。話す動きを、顔と録音の両方に照らして確かめられるようにします。

動画または画像

同期する顔を特定する

動画や画像が、人物、画角、表情、照明、目に見える顔の細部を示します。

音声録音

オーディオのタイミングに従ってください

録音が、口の動きの基になる言葉、リズム、間、長さを示します。

リップシンクの結果

2つの素材を組み合わせる

顔と発話が、同期した1本の動画になります。タイミングと、見た目がそろっているかを確かめられます。

作成の流れ

3 ステップでリップシンク動画を作成

動画や画像と、発話音声を渡してください。必要なら、声の調子やタイミングの指示を加えます。その後、同期した結果を、両方のファイルと見比べます。

01

顔と音声をアップロードする

顔が見える動画や画像と、口の動きの基にする発話の録音を選びます。台本しかない場合は、 「AIナレーションを生成」 を使い、先に音声を準備して確認してください。

02

声の調子とタイミングを指示する

誰が話し、どんな声の調子にするかを示します。録音や映像で、とくに気を付ける必要がある部分も伝えます。

03

リップシンクを確認する

口の動きのタイミング、顔の細かい点、表情を確かめます。本人らしさや、元の映像と音声に合うかも確認してください。話す様子を確かめた後に、読みやすい字幕を加えるには、 「動画に字幕を追加」を使います。

エージェントが判断すること

リップシンクで調整する要素

エージェントが、動画や画像と発話音声を使って、口の動きを整えます。確かめるために必要な、元の情報は保ちます。

オーディオのタイミング

発話の録音に含まれる言葉、音、間、リズムを基に同期させます。

口の動き

音声の各部分に、見える口の形を合わせます。

顔の一貫性

元の素材の人物らしさ、表情、頭の位置、照明など、顔の細かい部分を考慮します。

両方のファイルと照合する

両方の素材を、参考として見られる状態にします。タイミングを確かめたり、変更点を絞って直すように頼んだりできます。

よくある質問

リップシンクに関するよくある質問

音声ファイルではなく台本から開始できますか?⌄

「AIナレーションを生成」で、承認済みの台本と声の指示から音声を準備します。言葉、発音、速さを確認し、その音声を顔の画像や動画と一緒に使います。リップシンクは、準備した話し声に口の動きを合わせます。

別の言語の発話に口の動きを合わせるには?⌄

まず、ターゲット言語の文言とスピーチを準備して承認します。 AIによる動画の吹き替え は、話す音声を別の言語に置き換える機能です。その後、リップシンクで、新しい発話を顔の素材と一緒に確かめます。翻訳、発音、タイミング、使用許可を、合わせて確認してください。

リップシンクにはどのファイルが必要ですか?⌄

顔が見える動画または画像と、口の動きが追従する音声録音を提供します。

すでにある動画に、新しい音声を使ってリップシンクできますか?⌄

はい。動画か画像と、置き換える発話音声をアップロードしてください。顔と、特に注意すべきタイミングを示します。

静止画でもリップシンクできますか?⌄

話す動画を作りたい場合は、動かない人物画像を使えます。動かない人物画像から、話す動き全体を作る場合は、「話す写真を生成」が、その作業により特化しています。

どんな動画や画像なら同期しやすくなりますか?⌄

顔がはっきり見え、画角が安定した素材を使います。口元が隠れていないことも大切です。そうした素材なら、エージェントが確認に使える見た目の情報が、よりはっきりします。

口パクの結果を使用する前に何を確認する必要がありますか?⌄

口の動きのタイミング、本人らしさ、表情を確かめてください。顔の細かい部分と、本人の同意も確認します。音声と画像の権利も確かめます。結果が、その人物を適切に表しているかも確認してください。

顔の素材と発話音声から始める

Pexo でリップシンク動画を作成する

動画か画像と、発話音声をアップロードします。PexoのAI動画エージェントで、タイミングを確かめます。顔の見た目がそろっているかも確認します。