コンテンツにスキップ

Discord の通話の声を字幕にする(試験実装)

ゆかコネNEO v3.0 のドキュメントです(画面は v3.2.5 のものです)。

コラボ配信やゲームの通話で、Discord のボイスチャンネルにいる相手の声を、話した人ごとに名前つきで字幕にできます。 相手の PC にゆかコネを入れてもらう必要はありません。あなたの Bot がボイスチャンネルに入り、聞こえた声を文字にします。

相手の声 ─→ Discord のボイスチャンネル ─→ あなたの Bot ─→ ゆかコネNEO ─→ 字幕(話した人の名前つき)
あなたの声 ─→ マイク ───────────────────────────────→ ゆかコネNEO ─→ 字幕(いつもどおり)

試験実装です・通話にいる全員の同意が要ります

  • まだ試験中の機能です。動きや画面は、予告なく変わったり無くなったりします。
  • 通話にいる人の声を文字にします。使う前に、通話にいる全員の同意を得てください。
  • 始めたときに、Bot が「声を文字にしています」とチャンネルへ書き込みます(あとで止められます)。
  • 声は文字にしたら捨てます。録音はしません。文字にするのは、このパソコンの中です(声をネットへ送りません)。

用意するもの

Discord の Bot Discord 連携プラグインの Bot です。まだ無ければ、下の「手順 1」で作ります
ボイスチャンネル Bot を入れるサーバーのボイスチャンネルです
空き容量 文字にするモデルの分、約 160MB〜480MB
ゆかコネNEO v3.2.1 以降

手順 1:Discord 連携の設定を開く

  1. 上のタブ 音声と翻訳 を開きます。
  2. 音声の入れ方 の下の 追加で受け取る (上の認識と一緒に使えます) にある、Discord音声(試験実装) を押してオンにします。

  3. 行の下に、次にすることが出ます。

    出てくる文 すること
    「Discord連携(bot) プラグインが入っていません」 上のタブ プラグイン → プラグインを追加 で Discord連携(bot) を足してから、もう一度オンにします
    「Discord の Bot のトークンが入っていません」 Discord連携の設定を開く を押して、手順 2 へ進みます
    「話した人ごとに文字にするモデルがまだありません」 手順 4 へ進みます
    「話者ごとの受け取りを始めました」 準備はできています。手順 5 で確かめます

あなたの声はそのままです

このスイッチは「追加で受け取る」ものです。あなたの声は、上で選んだ音声認識(ブラウザの音声認識など)のまま字幕になります。


手順 2:Bot をつなぐ(はじめての人だけ)

Discord連携の設定の 接続 のページを、上から順に進めます。すでに Bot を使っている人は、4. だけ見直してください。

  1. 1. BOT を作る で Discord Developer Portal を開く を押します。
    • 「New Application」で作り、左の「Bot」→「Reset Token」でトークンを作ってコピーします。
    • 同じ画面の MESSAGE CONTENT INTENT をオンにして、「Save Changes」を押します。
  2. 2. トークンを貼る にトークンを貼り、トークンを確かめる を押します。 「確かめました。BOT「(名前)」のトークンです。」と出れば OK です。
  3. 3. サーバーへ招待する で BOT を招待する を押し、開いた画面でサーバーを選んで認証します。
  4. 4. 字幕を出すチャンネルを選ぶ で チャンネルの一覧を読む を押し、チャンネル から 🔊 の付いたボイスチャンネル を選びます。

チャンネルは 1 つだけ選べます

ここで選んだボイスチャンネルに Bot が入ります。「話した内容を Discord へ送る」をオンにしているときは、 あなたの字幕もこのボイスチャンネルのチャット欄に書き込まれます。


手順 3:自分を「受け取らない人」にする

あなたも同じ通話に入っているときは、あなたの声がマイクと Discord の 2 回字幕になってしまいます。 あなたの Discord のユーザー ID を入れて、Discord 側では受け取らないようにします。

  1. Discord の ユーザー設定 → 詳細設定 で 開発者モード をオンにします。
  2. Discord で自分の名前を右クリックし、ユーザーIDをコピー を押します。
  3. Discord連携の設定の 話者ごと (試験的) のページを開き、受け取らない人のユーザー ID に貼ります。
    • 1 行に 1 人です。ほかの方法で字幕にしている人(UDトークで参加している人など)がいれば、その人の ID も入れます。

このページのほかの項目は、Discord BOT連携 - 話者ごと (試験的) で説明しています。


手順 4:文字にするモデルを選んで取る

同じ 話者ごと (試験的) のページで、文字にするモデル を選びます。

選ぶもの こんなとき
精度優先: Haas-ja v1.0(日本語だけ・約 480MB) 通話の相手が日本語だけで話す
速度優先: Whisper Base(多くの言語・約 160MB・軽い) 海外の人がいる・PC が重くなる
  1. モデルをダウンロードする を押します。
  2. オフライン認識の画面が開きます。取得元・大きさ・保存先を確かめてから、ダウンロードします。
  3. 終わったら、オフライン認識の画面を閉じます。
  4. Discord連携の設定で OK を押して閉じます。

オフライン認識と同じモデルです

すでにオフライン認識で同じモデルを取っていれば、ダウンロードは要りません(二重には取りません)。 置き場は モデルの保存先と管理 で変えられます(音声認識でオフライン認識を選んでいるときに、音声と翻訳 の右の欄に出ます)。


手順 5:つないで確かめる

  1. Discord連携の設定の 接続 のページで 接続 を押します。
    • 上の帯の Discord 連携のアイコンをダブルクリックしても、接続・切断を切り替えられます。
  2. Bot がボイスチャンネルに入り、チャンネルに「【試験的】ゆかコネNEO が、このボイスチャンネルの声を話した人ごとに文字にしています」と書き込みます。
  3. 音声と翻訳 の「Discord音声(試験実装)」の行に、「話者ごとの受け取りを始めました」 と出ていれば準備完了です。
  4. 相手に話してもらいます。ひと区切り話し終えると、Discord のサーバーでの表示名つきで字幕に出ます。
    • 上のタブ ホーム → いまの状態 の 字幕ログ でも確かめられます。

字幕が出るまで

相手が話し終えて、少し(0.7 秒ほど)黙ったところで文字にします。話している途中の字幕は出ません。 翻訳の設定は、あなたの声と同じものが使われます。


使い方のヒント

こうしたい やること
一時的に止めたい 音声と翻訳 の Discord音声(試験実装) をオフにします。声の受け取りが止まります
配信中だけ字幕を止めたい ゆかコネのミュートを使います。ミュートの間は、Discord の声も字幕に出ません
始めたときの書き込みをやめたい 話者ごと (試験的) の 始めたときにチャンネルへ知らせを書く をオフにします
話した人の顔を字幕に出したい Discord連携の設定の 送受信 の ④ 話した人の写真 をオンにします(v3.2.4~)。話し手の画像が無い人は、Discord のアバターを使います
相手のチャットも読み上げたい 送受信 の ② Discord のチャット → 字幕 と ③ 読み上げの声 を使います(Discord BOT連携)

うまくいかないとき

「Discord音声(試験実装)」の行の下に出る文が、いまの状態です。

出てくる文 やること
「Discord連携(bot) プラグインは一時停止中です」 上の帯の Discord 連携のボタンを右ダブルクリックして再開します
「チャンネル ID が入っていません」 手順 2 の 4. で、ボイスチャンネルを選びます
「「話した人ごとに文字にして字幕へ出す」がオフです」 話者ごと (試験的) の 話した人ごとに文字にして字幕へ出す をオンにします
「Discord から切断しています」 手順 5 の 接続 を押します
「Discord への接続を待っています」 そのまま待ちます。つながると始まります
「Discord連携(bot) プラグインから返事がありません」 Discord 連携プラグインを新しい版にします

それでも字幕が出ないときは、次を見てください。

  • Bot がボイスチャンネルに入っているか(Discord のメンバーの一覧に Bot が出ているか)。入っていなければ、そのチャンネルに Bot が「接続」できる権限があるかを、Discord のチャンネルの設定で見ます。
  • 自分の声が 2 回出るときは、手順 3 のユーザー ID が合っているか。
  • 字幕が遅れる・抜けるときは、手順 4 で 速度優先 に切り替えます。たくさんの人が同時に話すと、追いつかない分は古いものから捨てます。