動画にしっくりくる音楽をAIが自動で選曲　Qosmoが新製品「Video2Music」を提供開始

大量の音楽ライブラリから動画に最適なBGMを見つける新たな選曲方法として、音源探索にかかる時間を大幅短縮

AIの活用による創造性の発展に取り組む株式会社Qosmo（本社：東京都目黒区、代表取締役社長：徳井直生、以下「コズモ」）は、音楽・サウンド分野において当社が蓄積してきたノウハウ・モデル・アルゴリズムを用いた製品群「Qosmo Music and Sound AI」の新たなラインナップとして「Video2Music（ビデオtoミュージック）」を提供開始します。本製品はコズモが独自に開発した深層学習型AIモデルが、入力された動画の内容に合った曲の候補をリストアップしてくれる技術を使用しており、これまでに多くのビデオクリエーターが長い時間を費やしてきたBGMの選択をAIが大幅に時間短縮してくれます。なお、本製品はB2Bでのご提供を目的としています。



[動画: https://www.youtube.com/watch?v=PMlWBvpQn5U ]



■ 感覚的にしか評価できない選曲作業を大幅に短縮
動画の雰囲気にピッタリなBGMや、シーンの感情をうまく表現した楽曲を選曲するには幅広い音楽に関する知識が必要となります。また、映像に音楽が合っているかどうかは感覚的にしか評価できないため、個人個人による捉え方の差も大きく、多くの候補曲の中から様々な人の意見をもとに選曲を行う必要がありました。そのため、これまでビデオディレクターやクリエーターたちは、BGMの選曲に多くの時間を費やしており、弊社のユーザーヒアリングによると、発表作品の中では数秒しか使われない音楽の選曲に何時間もの時間が使われてしまうことも指摘されています。

[画像: https://prtimes.jp/i/63351/14/resize/d63351-14-d411a2328c8240bf7eaf-3.png ]

本製品は、ユーザが動画をアップロードするだけで、瞬時に複数の選曲候補を見つけてくれます。候補曲数は自由に決めることができ、それぞれの候補曲はマッチ度でランク付けされます。これらの候補曲には一定の類似性がある一方で、ある程度のばらつきも存在するため、最終的には製作者のセンスや意図も加味した選曲を行うことができるようになっています。
本製品の主な特徴は次のとおりです：

コズモが独自に開発したAIモデルが、与えられた動画に「合った」音楽を対象音楽ライブラリーの中から短時間（数秒以内）で抽出します。対象音楽のジャンルや形態などに制限はありません。
「ビデオ→音楽」に加え「音楽→ビデオ」の検索もできるので、クロスメディア情報検索の実装によりユーザーエクスペリエンスを向上することができます。
弊社の音楽検索アルゴリズムを合わせて使うことで、類似曲候補の提案など、幅広い検索サービスの構築が可能になります。
本製品の提供は、APIもしくはオンプレ環境での実行が可能です。本製品は一般ユーザーへの直接提供ではなくB2Bでのご提供を前提としています。


■ 様々な製品・サービスに付加価値を提供します
Video2Musicが活用できるシーンは様々ですが、下記にいくつか例をあげます

音声・動画素材販売サイトで、購入率改善に活用 - 大量にあるストック音源やストック動画からユーザーが探し物を見つけるためにはタグや検索ワードなどが使われていますが、そもそも探している曲のイメージが無いユーザにはあまり有効な手段になりえません。Video2Musicは「この動画に合う音楽を見つけたい」という課題を直接的に解決するための手段を提供できます。
クライアントからの選曲依頼への活用 - レコード会社など多数の音源の中からクライアントの依頼に合わせた選曲を行う場合、これまでは熟練の選曲者によるセレクションに依存していました。Video2Musicは音楽ライブラリーの内容を熟知していない選曲者でも、効果的に候補曲の絞り込みを行えるように製品のデモ

本製品のデモは下記の製品ウェブサイトにてご確認いただけます：


Video2Music製品ウェブサイト : https://qosmo.jp/products/video2music


■ コズモが独自に開発したAIモデル
時系列性のあるデータを解釈するのに優れたTransformerという深層学習手法を応用し、動画・音楽双方を相互に比較可能な潜在ベクトル値に変換します。このアプローチを使いオンライン上の動画コンテンツなどを入力に学習を行い*、コントラスティブ学習という手法でモデル化することで、動画と音楽という異なる種類の情報の類似度を定量的に計算することができるようになりました。本ライセンスにて提供する学習済みモデルは既に幅広い入力動画・選択音楽に対応していますが、コズモでは追加のデータを使った再学習することで、特定用途における精度向上を行うこともにも対応可能です。
*オンライン上の著作物を学習データとする機械学習モデルの構築・利用は日本国においては、営利・非営利に関わらず、著作権法上適法とされています

■ 価格・仕様について
Video2Musicの利用費用は下記の3つから構成されます：

対象音楽ライブラリのサイズに応じた事前インデックス費
クライアント様のシステム統合に関連したイニシャル開発支援
APIのコール数に応じた月次の重量課金（一定回数までは定額）

お見積りをご希望の際にはcontact@qosmo.jpより、弊社担当にご連絡ください。

■ Qosmo Music and Sound AIについて
Video2Musicを含む、Qosmo Music and Sound AIには現在下記5つの製品が含まれます。

音楽生成AI / Music Generation AI - リアルタイムにコントロール可能な音楽生成
音楽選曲AI / Music Selection AI - AI DJがプレイリストを自動生成
音色変換AI / Timbre Transfer AI - 入力音を別音にリアルタイム変換
イメージtoサウンド / Img2Sound - 入力画像にマッチしたサウンドを選択
ビデオtoミュージック / Video2Music - 入力動画にしっくりくる音楽を選択

■ 株式会社Qosmo（コズモ）
2009年設立。「アートとテクノロジーを通じて人類の創造性を拡張する」をビジョンに掲げる。アーティスト、研究者、プログラマ、デザイナーから構成されるチームが、作品制作を通して創造性のフロンティアを切り開くとともに、アーティスト・企業・個人が使えるAIツールを提供することでより寄多くの人が創造的に働き・学び・暮らせる社会の構築に与することをミッションに活動する。https://qosmo.jp

PR TIMESプレスリリース詳細へ