Home AIツール AIガイド AIモデル AIクリエイター 🛒 購入 始める
🎬 KLING AI ⏱ 3 min read 🎤 高度なリップシンク

Advanced Lip Sync — Technical Guide

動画内の誰にでも好きなことを言わせる — 動画と音声ファイルをアップロードするか、言葉を入力すると、AIが口の動きを完璧に音声に合わせます。

🎤

Advanced Lip Sync

klingai video /app/lipsync →
動画内の誰にでも好きなことを言わせる — 動画と音声ファイルをアップロードするか、言葉を入力すると、AIが口の動きを完璧に音声に合わせます。
高度なリップシンクは、動画内の任意の人物が提供された音声を話しているように見せます。顔がはっきりと見える動画をアップロードし、音声を提供する方法を選択します:自分の音声ファイルをアップロードするか、単に言葉を入力してAIに声を生成させます。

AIは動画内のすべての顔を自動的に検出します。複数の人がいる場合は、アニメーション化する顔を選択します。選択された顔は、音声の各音節に合わせたフレーム精度の口の動きを得ます — 顎の動き、口の形、タイミングが自然に同期します。

2つの音声オプションにより、柔軟性が生まれます。音声をアップロードすると、任意の録音を使用できます — 自分のナレーション、翻訳されたナレーション、歌、または他のソースからのクリップ。テキスト入力モードでは、話すべき内容を書き、カタログから声を選び、言語と感情を選択すると、AIが音声を生成し、口を一度のステップで同期させます。

音量コントロールを使用して、新しい音声を元の動画音声とバランスさせることができます — 背景音を保持しながら新しい声を追加するか、元の音声を完全にミュートします。タイミングコントロールを使用して、音声が動画内で正確に始まるタイミングを選択し、音声の開始点と終了点をトリミングします。

これは、他の言語にコンテンツを吹き替えるための重要なツールであり、AIのスポークスパーソン動画を作成し、無音クリップにナレーションを追加し、同じ動画の多言語バージョンを制作するためのものです。
✦ Best Results Tips
👤 全体を通して明確に見える顔
アニメーション化したい顔は、動画の全期間にわたって明確に見える必要があります。良好な照明の下での正面ショットが最も自然なリップシンクを生み出します — 顔が横を向いたり隠れたりするシーンは避けてください。
🤫 最小限の頭の動き
首から上が比較的静止している動画が最良の結果をもたらします。過度の頭の回転、うなずき、または跳ねる動きは、AIが口を正確に追跡しアニメーション化するのを難しくします。
🧑 一度に一つの顔
動画に複数の人がいる場合、AIはすべての顔を検出し、アニメーション化する顔を選択できます。生成ごとにリップシンクされるのは一つの顔だけです — 追加の顔のためにツールを再実行してください。
⏱️ 音声の長さを顔の表示時間に合わせる
音声は、顔が動画内で表示される時間におおよそ一致する必要があります。音声が顔の表示時間よりも長い場合、同期が切れてしまいます。音声をトリミングするか、タイミングコントロールを使用して調整してください。
🗣️ 迅速な結果のためのTTS
テキスト入力モードは最も早い方法です — 言葉を書き、声と感情を選択すると、AIが音声生成とリップシンクを同時に処理します。音声ファイルを別々に録音したり調達したりする必要はありません。
🎵 音声と背景音のバランスを取る
音量スライダーを使用してミックスを調整します。環境音を保持するために元の動画音声を下げますがオフにはせず、クリーンなナレーションの置き換えのために完全にミュートすることもできます。

Advanced Lip Sync — Available Models

Advanced Lip Sync
Default
advanced-lip-sync
2-step: identify faces → submit lip-sync. Supports .mp3/.wav/.m4a, 2-60s.
📥 You Give
🎬Video 🎤Audio (TTS, Upload, or Voice)
AI Magic
klingai
🎬 You Get
🎬 Video
TTS emotions
😐 Neutral 😊 Happy 😠 Angry 😢 Sad 😨 Fearful 🤢 Disgusted 😲 Surprised
🎤
Upload (MP3/WAV/M4A/AAC, max 5MB)
Audio source
🎤
TTS
Audio source
🎥
MP4/MOV, 2-60s, 720p/1080p
Video input
Features
Multi-face detection Volume control (0-2x) Audio timing control

💰 Advanced Lip Sync — Pricing

Estimated cost
Failed jobs are automatically refunded
Want your AI characters to speak or sing? Learn how to use the Lip Sync feature. Just upload your audio or use our ultra-realistic Text-to-Speech (TTS) to get perfect synchronization. The "Lip Sync" feature allows you to upload local voiceover/singing files, or generate one through "Text to Speech" for the character videos generated in Kling AI. It synchronizes your characters’ lip movements perfectly with the audio, making them appear as if they're really speaking or singing, making your video even more lively!

Examples

🎤 高度なリップシンク

高度なリップシンクを試す