見る人に何が聞こえるかを読み取る
話す内容や音は、録音をもとにします。声の調子、速さ、間の取り方も同じです。動画がたどる順番も録音に合わせます。
音声から動画を生成
すでにある録音や曲に合わせて、映像を作る機能です。PexoのAI動画エージェントは、音の調子やタイミングをもとにシーンを考えます。どんな映像にしたいかという指示も使います。仕上がりは、元の音声を基準にして確かめます。
音源
動画に使う音声をアップロード
動画のタイミングと内容の基準にする音声を追加してください。録音、ナレーション、ポッドキャスト、スピーチなどを使えます。
Pexoのエージェントは、音声と、誰に見せてどう映像化するかという指示をもとに、音声から動画を作る一つのタスクを進めます。
音声を軸にした制作
既存の音声に合わせて映像を作成
録音から新しい動画を作る機能です。録音をもとに、動画の時間の流れと内容を決めます。
エージェントは、話されている内容や聞こえる音を読み取ります。大切な場面を見つけます。元の音声を置き換えず、それに沿う映像を考えます。
音の各場面を映像に合わせる
エージェントが、何を話し、誰が話しているかを読み取ります。変化や、目立たせる部分も見つけます。それぞれを映像のシーンに当てはめます。
音声をもとに動画を組み立てる
音声と、計画した映像を組み合わせます。できた動画を元の録音と比べて、内容を確かめられます。
作成の流れ
音声から動画を作る3つの手順
録音を渡してください。誰が見るか、どんな映像にするかを説明します。その後、映像が音声にどう沿うかを確かめます。
元の音声をアップロード
動画の内容、テンポ、タイミングの基準にしたい録音を選んでください。
どんな映像にするかを伝える
誰に見せ、どんなスタイルの映像にするかを説明します。大切な場面や、画面に出す情報も伝えます。「AI絵コンテ生成」を使ってください。シーンを作り始める前に、提案された映像の順番を確かめられます。
音声と映像が合っているか確かめる
元の録音と比べ、タイミングを確かめます。映像が音声の内容を支えているかも見ます。名前、主張、映像の変化も元の録音と見比べてください。すでにある録音と映像のタイミングを直す場合は、「音声と動画を同期」を使います。別の作業として、音声と映像のずれを直せます。
エージェントが判断すること
音声を軸にした動画で判断すること
エージェントは、音声とあなたの指示を使います。聞こえる内容と、画面に映るものを結び付けます。
話題と、話す人についての情報
録音から、主な話題や話す人を読み取ります。口調や、話がどう進むかも読み取ります。
タイミングと強調
間、勢いの変化、大切な場面を使います。それを基準に、シーンのタイミングを決めます。音楽の場合は、映像の見せ方を変える部分や時間帯を伝えてください。
映像シーンの計画
音声で伝えたいことから、見る人の気がそれないようにします。その内容を支えるシーンの見せ方を選びます。
音声と映像のつながり
元の録音と映像の流れが、最初から最後まで合うようにします。
よくある質問
音声からの動画生成についてよくある質問
音楽から、画面に歌詞が表示される動画を作れますか？
曲を中心にした作品には、「ミュージックビデオを生成」が向いています。どんな世界を映すかを伝えてください。曲のどこに合わせてシーンを変えるかも説明します。歌詞を画面に出すには、「動画に字幕を追加」を使います。承認済みの歌詞と、出すタイミングを渡してください。言葉、改行、置く位置を確かめます。歌は、話し声をもとにした文字起こしだけでは、さらに直す必要がある場合があります。
どのような音声を渡せますか？
使う許可がある音声を渡してください。録音、ナレーション、ポッドキャスト、スピーチ、インタビューなどを使えます。歌や楽器だけの曲では、映像を合わせる曲の部分を示します。音の勢いが変わるところも伝えてください。
録音の全体に沿った動画になりますか？
音声を全部使うか、一部だけを動画の基準にするか伝えます。とくに大切にしたい部分も示してください。
エージェントは映像をどう選びますか？
エージェントは話題や、話す人、声の調子、タイミングを使います。誰に見せるかという指示も使います。それをもとに、音声の内容を支えるシーンを考えます。
特定の場面や話者を重視できますか？
はい。映像でとくに目を向けてほしい時間帯や、話す人を示してください。話題、引用した言葉、変化についても同じです。
公開する前に何を確認すればよいですか？
タイミングや名前、引用した言葉、主張が正しいか確かめます。話す人についての背景情報や、必要な許可も確認します。映像が、元の音声の内容と合っているかも見てください。
音声から始める
音声に合わせた動画を作成
PexoのAI動画エージェントに録音を渡します。誰が見るか、どんな映像にするかも伝えます。シーンが音声にどう沿うかを確かめてください。