文字起こしに基づくクリップ候補の検出
WhisperXで動画の音声を文字起こしし、その内容を分析してクリップ候補の開始時刻と終了時刻を特定します。
Clips AI
Freemium
Clips AIは、長尺動画の文字起こしから見どころの区間を特定し、クリップ化や縦型などの画角へのリフレーミングを行うオープンソースのPythonライブラリです。ポッドキャストやインタビューなど、音声と話者を軸に編集する動画を扱う開発者向けです。
Clips AIとは？
Clips AIは、長尺動画を再活用するためのオープンソースPythonライブラリです。動画の文字起こしから区間を特定してクリップを作成し、9:16など異なるアスペクト比に合わせて動画を動的にリフレーミングできます。音声と話者を軸に編集する動画を想定したワークフローです。
Clips AIでできること
クリップの区間分割
長尺動画から複数の区間を検出し、元の映像をトリミングするために使える開始時刻と終了時刻を返します。
動的なリフレーミング
現在話している人物を追従するクロップを生成し、9:16など指定したアスペクト比に動画をリサイズします。
リサイズ時の話者ダイアライゼーション
動画のリサイズ処理の一環としてPyannoteによる話者ダイアライゼーションを使用します。Hugging Faceのアクセストークンが必要です。
Pythonライブラリのワークフロー
Transcriber、ClipFinder、resizeなどをPythonからインポートして、プログラム経由で機能を利用できます。
利用シーン
“ポッドキャストのハイライトクリップ”
長時間のポッドキャスト録音から独立した話題の区間を特定し、短いクリップに切り出せます。
“インタビューの抜粋”
文字起こしをもとに区間を検索し、個別に公開する価値のある回答や議論を見つけられます。
“スピーチや説教の再活用”
スピーチや説教の録音から該当する箇所を見つけ、個別のクリップとして用意できます。
“縦型動画の作成”
既存の映像を縦向きのアスペクト比にリフレーミングし、話者に合わせてクロップを動的に調整できます。
よくある質問
Clips AIはどのような動画向けですか？
ポッドキャスト、インタビュー、スピーチ、説教など、音声と語りを中心とする動画向けです。
クリップ候補はどのように検出しますか？
まず動画を文字起こしします。ドキュメントに記載されたワークフローではWhisperXを使用し、その文字起こし結果をClipFinderに渡して、クリップ区間とタイムスタンプを特定します。
縦型動画を作成できますか？
はい。resize関数では目標のアスペクト比を指定でき、例として9:16が示されています。現在話している人物を中心に動的にリフレーミングします。
動画のリサイズには何が必要ですか？
リサイズのワークフローでは、話者ダイアライゼーション用にHugging Face経由で取得するPyannoteのアクセストークンが必要です。サイトにはPyannoteの利用料は請求されないと記載されています。
クイック情報
- 製品タイプ
- オープンソースのPythonライブラリ
- 主な利用者
- 開発者
- 入力ワークフロー
- クリップ検出の前に動画音声を文字起こし
- 文字起こしコンポーネント
- WhisperX
- リサイズコンポーネント
- Pyannoteによる話者ダイアライゼーション。Hugging Faceのアクセストークンが必要
Clips AI のトラフィック分析
トラフィックデータは参考情報としてご利用ください。
- ドメイン評価
- 38