本文へ移動

SHIZUKALAB / RVC GUIDE

歌と演技を、
次の声へ。

RVCは、入力した音声をモデルの声質へ変換する技術です。
何を用意し、何を調整し、どこで聴き比べるか。録音からのファイル変換を順に案内します。

01 / VOICE → VOICE

RVCは「声を入力する」変換。

RVCはRetrieval-based Voice Conversionの略です。入力した音声の内容や音高などをもとに、モデルの声質へ変換します。文章を渡して読み上げるTTSとは入力が異なります。元の歌い方や話し方が結果に影響するため、モデル選びと同じくらい入力の準備が大切です。

台詞を文章から作りたい場合は、Style-Bert-VITS2 Guideへ。まだ方式が決まっていなければTTSとRVCの比較から選べます。

このガイドは、録音済み音声をファイルとして変換する流れが中心です。通話・配信のリアルタイム変換は、音声入出力と遅延調整を含む別の運用です。

02 / VERSION FIRST

まず、自分のRVCの版を確認する。

本稿はRVC公式リポジトリのコミット 81eed5e を対象に、2026年9月7日に日本語READMEと推論ソースを確認して記述しています。起動コマンドや配置先は、旧配布版・別の派生版では異なることがあります。

公式ソースに基づく案内であり、この版とNeneを組み合わせたローカル変換の実測・動作保証ではありません。 所要時間やGPU別の速度は掲載していません。

確認箇所本稿の対象異なる場合
起動python webui.pyinfer-web.pyやバッチ起動の配布版は、同梱READMEを優先
モデルassets/weights/ルート直下のweights/を使う版と混同しない
配布indexassets/indices/旧版のlogs/や手動指定の案内と照合
既定ポート7865実際の起動ログに表示されたローカルURLを開く

03 / PREPARE THE RUNTIME

実行環境は、公式の対応表から。

対象版の日本語READMEは、Windows向けにPython 3.12(64ビット)と仮想環境を案内しています。CPU・AMD・Intel、NVIDIAの世代によってPyTorchの導入コマンドが分かれています。別のPython環境にまとめてインストールせず、専用の環境を用意してください。

  1. 対象版の公式READMEを開き、自分のOS・GPUに対応した手順を確認します。
  2. 公式リポジトリを取得し、その作業ディレクトリで仮想環境を作成・有効化します。取得した版を控えておきます。
  3. READMEの自分のハードウェア向けPyTorchコマンド、その後の依存関係導入を順に行います。異なるCUDA向けコマンドを重ねて実行しないでください。
  4. HuBERTと、使用する音高推定器などの必要ファイルを、公式の配布元と配置表に従って用意します。
  5. WindowsではFFmpegとFFprobeもREADMEで案内されています。音声の読み込みに失敗する場合は、この配置も確認します。

モデル配布ページの対応環境が本稿と異なる場合は、購入モデルの案内を優先してください。大きなモデルファイルを読み込むため、信頼できる配布元を使い、未知の実行ファイルやモデルを安易に開かないようにします。

04 / MODEL FILES

.pthと.indexを、役割で分ける。

.pthは変換に使うモデル、.indexは特徴検索に使う索引です。indexが同梱されている場合は、そのモデルに対応するものを使います。ファイル名を推測して別モデルのindexを組み合わせないでください。

RVC(本稿の対象版)/
  webui.py
  assets/
    weights/
      配布されたモデル.pth
    indices/
      同じモデルに対応する索引.index
    hubert_base/
      config.json
      preprocessor_config.json
      pytorch_model.bin
    rmvpe/
      rmvpe.pt

HuBERTやRMVPEは、声モデルとは別の実行用ファイルです。pretrained類は主に学習用、pymss_weightsは音源分離用として案内されており、配布済みの声モデルを変換に使う作業と区別します。

大きな学習チェックポイントと、配布・推論用モデルも別です。モデルが読み込めない場合は、拡張子だけで判断せず、同梱説明に「推論用」として案内されているファイルか確認してください。

05 / FIRST CONVERSION

最初は、短い1フレーズで。

  1. 入力音声を用意する。 自分で録音した声、または利用許諾を得た素材から、話し声なら一文、歌なら短いフレーズを用意します。元音声は上書きせず保存します。
  2. WebUIを起動する。 対象版の環境を有効にした作業ディレクトリでpython webui.pyを実行。起動ログのローカルURLを開きます。
  3. モデルを選ぶ。 配置した推論用モデルを選択し、対応indexが選ばれているか確認します。一覧にない場合は一覧更新と配置先を確認します。
  4. 音声を読み込む。 単一ファイル変換の音声アップロード欄へ入力します。モデルに複数話者がある場合は、配布説明に沿って話者も選びます。
  5. 基準の設定を記録する。 まず使用版の初期値を控え、短い入力で変換します。音高変更は半音単位です。性別だけで決め打ちせず、入力の音域と出力を聴いて調整します。
  6. 結果とログを確認する。 エラーが出ていないか、先頭・末尾まで変換されているかを確かめ、別名で保存します。

一度に複数設定を動かすと、何が良くなったか分からなくなります。同じ入力を使って、1項目ずつ比較してください。

06 / SINGING AND SPEECH

歌と会話では、聴く場所が違う。

歌唱:音程と伸ばす音を聴く

伴奏とボーカルを分けた入力を用意し、長く伸ばす母音、高音、音程が移る場所を確認します。音源分離を使った場合は、変換前にボーカル単体を聴き、伴奏の混入や分離由来のざらつきを確認してください。入力段階の欠けをRVCが必ず修復するわけではありません。

会話:子音と語尾を聴く

言葉の明瞭さ、息、無声子音、語尾、間の自然さを確認します。部屋の反響や背景音が強いと比較が難しくなります。録音時点のクリッピングや強い残響を避け、通常の声量で短く録って確かめるのが出発点です。

多言語:声質と発音を分けて判断する

入力にある発音が、そのまま正しい発音になるとは限りません。声が似ているかだけでなく、元の言葉が伝わるかを確認します。Neneの実演には多言語の比較もありますが、あらゆる言語・入力で同等の結果を保証するものではありません。

07 / KNOW THE CONTROLS

数値の意味を知って、1つずつ変える。

次の初期値は対象コミットのWebUIソースからの値です。推奨設定やNene専用プリセットではありません。画面の翻訳名は言語設定によって変わります。

項目役割確認のしかた
Transpose / 音高変更入力の音高を半音単位で変える音域を聴いて調整。固定の「男性→女性」値で全音声を処理しない
F0 method音高推定の方式。対象UIの初期値はrmvpe、選択肢にpmfcpeもある同じ入力の音程の揺れや外れを比較。方式ごとの必要ファイルも確認
Index rate特徴検索を混ぜる割合。0〜1、UI初期値0.75声質への寄り方と、ざらつき・明瞭さの両方を聴く。0は検索を使わない比較に使える
Protect無声子音や息などの保護。0〜0.5、初期値0.33。0.5は保護なし数値を下げると保護が強くなる一方、indexの効果が弱まる場合がある
RMS mix rate音量包絡の混合。0〜1、WebUI初期値0.251に近いほど出力側の包絡を使う。CLI初期値とは異なるため、自動化では明示する
Resample最終出力の再サンプリング。0は追加の再サンプリングなし編集先の要件に合わせる。サンプルレートを上げるだけで失われた情報が戻るわけではない

旧版で見かける項目が手元の画面にない場合は、別バージョンの説明を無理に当てはめず、使用版のUIとREADMEを照合してください。

08 / COMPARE BEFORE EXPORT

「変換できた」と「作品に使える」を分ける。

  • 元音声と変換後を、極端な音量差がない状態で聴き比べる。
  • 短い区間で設定を決めた後、全文・全曲でも先頭から末尾まで確認する。
  • 言葉の欠け、子音、息、高音、長音、無音部分を確認する。
  • 歌ならボーカル単体と伴奏に戻した状態の両方を聴く。
  • 入力、モデル版、index、全パラメータ、出力名を記録し、元素材を残す。

音声モデルの規約と、録音・楽曲など入力素材の利用許諾は別に確認してください。変換後の公開・販売の条件が不明なら、公開前に権利者や販売者へ確認します。

09 / TROUBLESHOOTING

症状から、確認箇所を絞る。

モデルが一覧に出ない

使用版の配置先、ファイルの展開状況、拡張子、推論用モデルかを確認します。対象版はassets/weights/です。一覧更新後も出ない場合は、WebUIの起動ディレクトリと起動ログを確認してください。

indexが選ばれない・声が寄りにくい

対応するindexが同梱されているか、対象版ならassets/indices/に置いたか、選択欄が意図したファイルを指しているかを確認します。index rateが0では検索を使いません。別モデルのindexを代用しないでください。

入力を読み込めない・出力されない

入力音声を他のプレイヤーで再生できるか、FFmpeg・FFprobeの案内を満たしているか、ログに具体的なエラーがあるかを確認します。短い一般的なWAVなどで切り分け、原本を破壊する変換や一括削除はしないでください。

GPUメモリ不足・処理が止まる

エラー全文と使用版、GPU、入力の長さを記録します。ほかのGPU処理を止められる状況か確認し、短い入力で再試行します。PyTorch・CUDAの不一致が疑われる場合は、公式の自分の機器向け手順を照合してください。無関係な環境を一括更新しないでください。

金属的な音、子音の欠け、音程の外れがある

まず変換前のボーカル単体を確認します。その後、同じ短い入力で音高、F0方式、index rate、protectを1つずつ比較します。モデルとindexの組み合わせ、入力音域も確認してください。特定の数値で全素材が直るわけではありません。

ブラウザを開いてもWebUIに接続できない

起動処理が完了しているか、ログに表示されたURL・ポートと一致するか、同じポートを他のプロセスが使っていないかを確認します。対象版の既定ポートは7865ですが、変更されている場合はログを優先します。問題解決のために外部公開する必要はありません。

10 / BEYOND ONE FILE

一括処理とリアルタイムは、段階を分ける。

ファイルをまとめて変換する

対象版にはWebUIの一括変換とCLIがあります。まず単一ファイルで設定と保存結果を確認し、入力フォルダと出力フォルダを分けてください。CLIはpython infer/cli.py --helpから使用版の引数を確認できます。

対象版ではCLIのRMS mix rate初期値が1.0、WebUIでは0.25です。同じ結果を比較したいときは、既定値に頼らず設定を明示します。API連携も使用版で公開されているエンドポイントを確認し、別版のリクエスト例をそのまま使わないでください。

通話・配信で使いたい場合

リアルタイム変換ではマイク、出力デバイス、配信・通話アプリへの受け渡し、遅延、音の回り込み対策が必要です。本稿のファイル変換が成功しても、そのままリアルタイム環境の完成を意味しません。公式のリアルタイム向け案内と使用ツールの説明を別に確認してください。

11 / HEAR THE DIFFERENCE

変換前から、Neneになるまで。

Nene RVC Edition歌唱・会話・多言語の変換前後を聴く →Neneの実演動画。元の声と変換後を比較できます。

YouTubeで直接見る ↗

モデルの収録内容、対応環境、利用条件はNene RVC EditionのBOOTH商品情報をご確認ください。文章からNeneの台詞を作りたい場合は、TTS版との違いも案内しています。

12 / SOURCES & SCOPE

手順の根拠を確認する。

参照日:2026年9月7日。以下は同じコミットに固定した公式ソースです。本稿の記載と手元の画面が異なる場合は、使用版の案内を優先してください。

  • 日本語README:実行環境、依存関係、必要ファイル、起動
  • WebUI:配置先、推論の入力項目、初期値
  • 変換処理:モデルの読み込みと音声変換
  • CLI:引数、既定値、入力検証
  • 実行設定:ポートなどの起動オプション

本稿はRVC公式プロジェクトの公式マニュアルではありません。ShizukaLabによる案内です。環境別の変換速度や互換性の実測結果は含みません。