-
Notifications
You must be signed in to change notification settings - Fork 76
Home
MMVCはAIを使ったリアルタイムボイスチェンジャー「MMVC(RealTime-Many to Many Voice Conversion)」です。
MMVCはMMVC_Trainerと MMVC_Clientで構成されており、基本的にはGoogle Colab上で音声を学習し、その学習済みデータを使って自分のPC上でリアルタイムにボイスチェンジを行うことができるアプリです。
Google Colabを用いることで、個人の環境に依存せず、かつ簡単に機械学習の学習フェーズを実行可能です。
MMVCの学習を行うColab上のアプリ
https://github.com/isletennos/MMVC_Trainer
MMVCでボイスチェンジを行うPC上のアプリ
https://github.com/isletennos/MMVC_Client
「簡単」「だれでも」「好きな声に」「リアルタイムで」
- Googleアカウント
MMVC_TrainerとMMVC_Clientのページから下記を参考にインストールしてください。
-
MMVC_Trainer
「Open in Colab」からGoogle Driveにインストールするか、ローカル環境構築を参照してPCへインストールを行ってください。 -
MMVC_Client 圧縮ファイルをダウンロードして任意のフォルダに展開して利用してください。
| 内容 | ニコニコ動画 | YouTube |
|---|---|---|
| AMD,IntelGPUサポート | ニコニコ動画 | YouTube |
v1.3でもほぼこのチュートリアル動画の通りでも導入できます。
| 内容 | ニコニコ動画 | YouTube |
|---|---|---|
| 前準備編 | ニコニコ動画 | YouTube |
| 要修正音声 | ニコニコ動画 | YouTube |
| 前準備編2 | ニコニコ動画 | YouTube |
| 学習編_前1 | ニコニコ動画 | YouTube |
| 学習編_前2 | ニコニコ動画 | YouTube |
| 学習編_後 | ニコニコ動画 | YouTube |
| リアルタイム編 | ニコニコ動画 | YouTube |
| 質問編 | ニコニコ動画 | YouTube |
| 応用編_九州そら | ニコニコ動画 | YouTube |
| 応用編_音街ウナ | ニコニコ動画 | YouTube |
まずは「FAQ」のページを参照してみてください。
それでもわからない問題が出たら下記のMMVCコミュニティで質問してみてください。
MMVCコミュニティ https://discord.gg/2MGysH3QpD
開発の最新情報や、不明点のお問合せ、MMVCの活用法などMMVCに関するDiscordコミュニティサーバです。
最新情報はDiscord上でやり取りされている場合が多く、疑問点などへの回答もすぐ誰かがしてくれることが多いので、参加されることをお勧めします。
(2022/08/10 更新)
本ソフトウェアの利用規約は基本的にMITライセンスに準拠します。
- このソフトウェアは、コピー利用、配布、変更の追加、変更を加えたもの再配布、商用利用、有料販売など
どなたでも自由にお使いいただくことができます。 - ライセンスの記載が可能なプラットフォームでの利用の場合、下記クレジットどちらかををご利用ください。
VRCでの利用などライセンス記載が不可の場合、記載は不要です。
(可能であればパターン2を使ってくれると製作者はうれしいです) - このソフトウェアについて、製作者はいかなる保証も致しません。
また、このソフトウェアを利用したことで問題が起きた際に、ソフトウェアの製作者は一切の責任を負いません。 - このソフトウェアで利用する音声データは、必ず元の音声データの所持者の許諾を得たものを利用すること。
または音声データの配布元の利用規約内で利用すること。
(2022/08/10 更新)
MMVCの利用規約とは別に、下記音声データを利用する場合、それぞれの音声ライブラリ提供者様の利用規約に同意する必要があります。
※本ソフトウェアでは下記企業様・団体様に特別に許可を頂き、音声データを本ソフトウェア用に改変、再配布を行っております。
[利用規約][ずんだもん 音声データ] ※本ソフトウェアに同梱しているものと同様の音声データになります
[利用規約][九州そら 音声データ]
[利用規約][四国めたん 音声データ]
[利用規約][春日部つむぎ 音声データ]
ずんだもん/四国めたん/九州そら/春日部つむぎ
の3キャラクターを利用する場合に限り、下記ライセンスパターンに加えて、どのツールで作られた音声かわかるように
MMVC:ずんだもん
MMVC:ずんだもん/四国めたん
等の記載を下記ライセンスパターンと一緒に記載ください。
こちらもVRCでの利用などライセンス記載が不可の場合、記載は不要です。
ライセンスパターン 1
Copyright (c) 2022 Isle.Tennos
Released under the MIT license
https://opensource.org/licenses/mit-license.php
ライセンスパターン 2
MMVCv1.x.x.x(使用バージョン)
Copyright (c) 2022 Isle.Tennos
Released under the MIT license
https://opensource.org/licenses/mit-license.php
git:https://github.com/isletennos/MMVC_Trainer
community(discord):https://discord.gg/PgspuDSTEc
-
JVS (Japanese versatile speech) corpus
contributors : 高道 慎之介様/三井 健太郎様/齋藤 佑樹様/郡山 知樹様/丹治 尚子様/猿渡 洋様
https://sites.google.com/site/shinnosuketakamichi/research-topics/jvs_corpus -
ITAコーパス マルチモーダルデータベース
contributors : 金井郁也様/千葉隆壱様/齊藤剛史様/森勢将雅様/小口純矢様/能勢隆様/尾上真惟子様/小田恭央様
CharacterVoice : 東北イタコ(木戸衣吹様)/ずんだもん(伊藤ゆいな様)/四国めたん(田中小雪様)/九州そら(西田望見)
https://zunko.jp/multimodal_dev/login.php -
つくよみちゃんコーパス
contributor : 夢前黎様
CharacterVoice : つくよみちゃん(夢前黎様)
https://tyc.rei-yumesaki.net/material/corpus/
https://arxiv.org/abs/2106.06103
https://github.com/jaywalnut310/vits
Isle Tennos
Twitter : https://twitter.com/IsleTennos