映像と音声の設定

概要

ここでは Sora Unity SDK のサンプル集を使って映像と音声の設定について説明します。

Sora Unity SDK サンプル集

映像と音声デバイスを指定する

サンプル集では映像と音声デバイスを指定することができます。

デバイスを指定しない場合、実行環境がもつデフォルトのカメラとマイクを使用します。

指定する場合は DeviceName または UniqueName を指定します。

Unity Editor で実行する場合、Editor の Play ボタンを押すとデバイス一覧が Console に表示されます。

https://i.gyazo.com/d48d51950fba81035bd144b3b9fc8559.png

Video Capturer Device を指定する

Console に表示されたデバイス名を Video Capturer Device に設定します。

------------ video capturer devices -------------- 以下から指定する DeviceName または UniqueName を探します。

Audio Recording Device を指定する

Console に表示されたデバイス名を Audio Recording Device に設定します。

------------ audio recording devices -------------- 以下から指定する DeviceName または UniqueName を探します。

Audio Playout Device を指定する

Console に表示されたデバイス名を Audio Playout Device に設定します。

------------ audio playout devices -------------- 以下から指定する DeviceName または UniqueName を探します。

Unity Camera を使ってゲームをキャプチャする

サンプル集では Capture Unity Camera を選択することで Scene 内の Camera を使ってゲームをキャプチャすることができます。

デフォルトで設定されているのは Scene 上の Camera ですが、他の Camera を設定することもできます。

https://i.gyazo.com/fcc87d236a1cdbdceded52ce0670e451.png

Unity の音声を使用する

サンプル集では Unity Audio Input を選択することで Scene 内の AudioSourceInput を使ってゲーム内の音声を送信することができます。

デフォルトで設定されているのは AudioSourceInput ゲームオブジェクトの Audio Source に設定されている音声ですが、他の音声を設定することもできます。

https://i.gyazo.com/6ff5ba997832da258d4f208b5903402c.png

映像や音声を送らないようにする

サンプル集では 映像や音声を送らないようにするパラメータとして以下を用意しています。

  • Video

  • No Video Device

  • Audio

  • No Audio Device

Video や Audio を OFF にすることでデバイスを掴んだ状態で映像や音声を送らないようにすることができます。

この状態ではセルフビューには映像や音声が表示されます。

No Video Device や No Audio Device を ON にすることでデバイスを掴まない状態で映像や音声を送らないようにすることができます。

この状態ではセルフビューには映像や音声が表示されません。

https://i.gyazo.com/f4dee1a305b9095010e4f1ba043fa5a4.png

ハードウェアエンコーダを使用する

Use Hardware Encoder を ON にすることでハードウェアエンコーダを使用することができます。

この設定を OFF にするとハードウェアエンコーダを使用しないようになります。

デフォルトは ON です。

https://i.gyazo.com/f4dee1a305b9095010e4f1ba043fa5a4.png

映像コーデックを指定する

Video Codec Type を指定することで映像コーデックを指定することができます。

映像コーデックは SDK で定義しているものを指定する必要があります。

VP8 / VP9 / H264 / H265 / AV1 が指定できます。

警告

Windows、Ubuntu で H.265 は現在利用できません。

https://i.gyazo.com/e5340ab530dc37cda2498771a4d8ef9f.png

映像コーデックパラメータを指定する

サンプル集では映像コーデックパラメータを指定することができます。

映像コーデックパラメータは VP9 / AV1 / H.264 で指定できます。

https://i.gyazo.com/f7228c84fb310a44c8e68f8c81e8bf9a.png

VP9 の映像コーデックパラメータ

  • Enable Video Vp 9 Params を ON にします

  • Video Vp 9 Params Profile Id を 0-3 の値に設定します

AV1 の映像コーデックパラメータ

  • Enable Video Av 1 Params を ON にします

  • Video Av 1 Params Profile を 0-2 の値に設定します

H.264 の映像コーデックパラメータ

  • Enable Video H264 Params を ON にします

  • Video H264 Params Profile Level Id を設定します (例:42e01f)

音声コーデックを指定する

Audio Codec Type で音声コーデックを指定することができます。

利用できるコーデックは OPUS と LYRA です。

https://i.gyazo.com/4b5784adf51e92332fd1e2686fc6dbb7.png

Lyra を使用する

Lyra を使用するためには Audio Codec Type を Lyra に設定する必要があります。

また、 Lyra のためにいくつかパラメータを設定することが可能になっています。

https://i.gyazo.com/d98055bf1993ce3d0e3851a00197b66b.png

ビットレートの指定

Lyra のビットレートを指定するには Audio Codec Lyra Bitrate を設定します。

3200 / 6000 / 9200 のいずれかの値を設定することができます。

useDTX の指定

DTX を利用するかどうかを指定します。

  • Enable Audio Codec Lyra Usedtx を ON にします

  • Audio Codec Lyra Usedtx を ON にします

Lyra のバージョンをチェックするかどうかを指定します。

Check Lyra Version を ON にすると Lyra のバージョンをチェックします。

音声ストリーミングを有効にする

Audio Streaming Language Code に言語コードを設定することで音声ストリーミングを有効にすることができます。

音声ストリーミングの詳細は Sora のドキュメント を参照してください。

https://i.gyazo.com/b057626f9a52608f89ac732856373e2a.png

映像ビットレートを指定する

映像ビットレートを指定するには Video Bitrate を設定します。

0 の場合 Sora のデフォルト設定が利用されます。

https://i.gyazo.com/663526d8066cda930345cea61f959625.png

映像フレームレートを指定する

映像フレームレートを指定するには Video Fps を設定します。

デフォルトでは 30fps です。

https://i.gyazo.com/0e97646d76093e82a353f8c5d6bb2e64.png
© Copyright 2023, Shiguredo Inc. Created using Sphinx 7.2.6