ログイン

AIボーカル除去の仕組みは?

結論

AIボーカル除去は、ボーカルと楽器のトラックが分かれた曲で学習したニューラルネットワークが完成音源を解析し、どの音が声かを推定して、ボーカルと伴奏の2つの信号に作り直す仕組みです。従来の方法は中央の音を打ち消すため、ベースまで消えたり残響が残ったりしがちでした。

最終確認日:

解説

完成した曲は1つのミックスで、ボーカルだけを消す隠れたフェーダーはありません。音源分離モデルは、ミックスと各パートの両方がそろった曲で学習し、新しいミックスから各パートを予測します。

Demucsのような公開研究モデルは波形とスペクトログラムを扱います。Metaの研究者が公開したHybrid Transformer Demucsは、ドラム・ベース・ボーカルを残りの伴奏から分離します。

従来の「位相反転して混ぜる」方法は、ステレオの左右チャンネルを差し引きます。Audacityのマニュアルによると、中央に定位した音をボーカルもベースも区別なく同じように消し、ステレオの残響は完全には消せません。

分離は推定なので、結果はミックス次第です。コーラス、残響の尾、声と重なる楽器が残りやすい主な原因です。

位相キャンセルとAI音源分離の比較
位相キャンセル(従来)AI音源分離
仕組み左右チャンネルを差し引くニューラルネットワークが音源ごとに予測
ステレオ入力必要(本物のステレオのみ)不要
ベース・キック声と一緒に消えやすい多くは伴奏に残る
声のリバーブ完全には消えない減るが尾が残ることがある
出力モノラルになることが多いボーカルと伴奏を別々に生成

よくある質問

AIボーカル除去はボーカルトラックをミュートするのと同じですか?

いいえ。完成したミックスの中の声を推定するため、わずかな残りや楽器の変化が起こることがあります。

コーラスやリバーブが残るのはなぜですか?

ステレオ全体に広がり楽器とも重なっているため、ボーカルとして分類しにくいからです。

高品質設定は処理が違いますか?

MR Makerの低・中・高品質はそれぞれ異なる分離設定で、1・2・3クレジットです。高品質でも完全な除去は保証されません。

手持ちの音源から伴奏を作る

利用権限のある音声ファイル(MP3、WAV、FLAC、M4A、AAC、OGG、MP4、最大50MB)をアップロードしてください。変換は低・中・高品質で1・2・3クレジット、キー変更は1クレジット追加です。

曲をアップロード

出典

各出典は表示した日付に実際に開いて内容を確認しました。

  1. Demucs: music source separation (README) — Meta Research on GitHub (確認 )
  2. Hybrid Transformers for Music Source Separation (Rouard, Massa, Défossez) — arXiv (確認 )
  3. Vocal Reduction and Isolation — Audacity Manual (確認 )
  4. Music source separation — Wikipedia (確認 )