音声クローン吹き替え
一般的な合成音声に置き換えるのではなく、話者の声をクローンしたまま40以上の言語に動画を翻訳します。
VaaniStudioは、話者の声とタイミングを保ちながら40以上の言語へ動画を翻訳できるAI動画吹き替えツール。Studioの詳細編集とGlot V1の一括処理、有料プランのリップシンクに対応。
VaaniStudioは、話者の声、抑揚、タイミングを保ちながら、動画を多言語へ変換できるAI動画吹き替えツールです。ホームページではクリエイター向けのスタジオ品質の吹き替えとして紹介されており、料金ページでは無料の編集ツールではなく、主に有料ワークフロー向けの製品として説明されています。
このサイトでは、主に2つの作業方法が示されています。1つは、詳細なタイムライン編集を行う単一プロジェクト向けのStudio、もう1つは、多数の動画や対象市場に対してバッチ形式で制作するGlot V1です。どちらのモードでも、パイプラインには音声分離、文字起こし、翻訳、音声クローン、最終ミキシングが含まれ、ワークフローの一部としてオプションのリップシンクも利用できます。
一般的な合成音声に置き換えるのではなく、話者の声をクローンしたまま40以上の言語に動画を翻訳します。
文脈を踏まえて翻訳を適用するため、逐語訳ではなく、トーンや意味が反映された仕上がりになります。
リップシンクは別操作として追加することも、perfect-dubのフローで吹き替えと組み合わせることもできます。
単一プロジェクトでは詳細なStudioタイムラインで作業し、多数の動画や対象市場に対してはノードベースの並列ワークフローであるGlot V1を使用できます。
操作を実行する前にコイン消費量を確認でき、利用分はdub、lip-sync、perfect-dub共通のウォレットから課金されます。
APIアクセス、webhooks、指名サポート、SSO、監査ログ、オンプレミスまたはプライベートクラウド展開など、チーム向け・エンタープライズ向けのオプションを利用できます。
クリエイターは、公開済み動画を複数言語に吹き替えつつ、同じ声の पहचानを保ち、最終カットで必要ならリップシンクを追加できます。
スタジオやプロデューサーは、Studioでセグメントごとの編集、話者ごとの設定、行ごとの確認に向けた手動上書きを使って、1つのプロジェクトを管理できます。
多数のエピソードや市場を扱うチームは、Glot V1を使ってファイルをボードに追加し、翻訳を分岐させ、吹き替えを並列でレンダリングできます。
エンタープライズの購入担当者は、APIアクセス、webhooks、SSO、監査ログ、プライベートクラウドまたはオンプレミスのオプションが重要な大規模導入向けにVaaniStudioを評価できます。
VaaniStudioは、40以上の言語に翻訳し、必要に応じてリップシンクも追加できる動画吹き替えツールです。
元の内容では2つの作業モードが示されており、Studioは詳細な単一動画編集向け、Glot V1は多くの動画と言語を対象にした一括処理向けです。
料金ページには、スターターコイン付きの無料トライアルに加え、Creator、Studio、Broadcast、Enterpriseの有料プランが表示されています。有料プランでは吹き替えとリップシンク機能が利用でき、上位プランほどアクションごとの料金が低く、チーム向け機能も増えます。
この製品はコイン制のウォレットを使用します。dub、lip-sync、perfect-dubの各操作でコインが消費され、Studioパネルでは実行前にコストを確認できます。
公開ページではGoogleサインインが案内されており、エンタープライズ向けにはSSOの依頼が可能です。また、サイトではアップロードされた音声は学習に使用されないと説明されています。