映像と音声の設定¶
概要¶
ここでは Sora Unity SDK のサンプル集を使って映像と音声の設定について説明します。
映像と音声デバイスを指定する¶
サンプル集では映像と音声デバイスを指定することができます。
デバイスを指定しない場合、実行環境がもつデフォルトのカメラとマイクを使用します。
指定する場合は DeviceName
または UniqueName
を指定します。
Unity Editor で実行する場合、Editor の Play ボタンを押すとデバイス一覧が Console に表示されます。
![https://i.gyazo.com/d48d51950fba81035bd144b3b9fc8559.png](https://i.gyazo.com/d48d51950fba81035bd144b3b9fc8559.png)
Video Capturer Device を指定する¶
Console に表示されたデバイス名を Video Capturer Device に設定します。
------------ video capturer devices --------------
以下から指定する DeviceName
または UniqueName
を探します。
Audio Recording Device を指定する¶
Console に表示されたデバイス名を Audio Recording Device に設定します。
------------ audio recording devices --------------
以下から指定する DeviceName
または UniqueName
を探します。
Audio Playout Device を指定する¶
Console に表示されたデバイス名を Audio Playout Device に設定します。
------------ audio playout devices --------------
以下から指定する DeviceName
または UniqueName
を探します。
Unity Camera を使ってゲームをキャプチャする¶
サンプル集では Capture Unity Camera を選択することで Scene 内の Camera を使ってゲームをキャプチャすることができます。
デフォルトで設定されているのは Scene 上の Camera ですが、他の Camera を設定することもできます。
![https://i.gyazo.com/fcc87d236a1cdbdceded52ce0670e451.png](https://i.gyazo.com/fcc87d236a1cdbdceded52ce0670e451.png)
Unity の音声を使用する¶
サンプル集では Unity Audio Input を選択することで Scene 内の AudioSourceInput を使ってゲーム内の音声を送信することができます。
デフォルトで設定されているのは AudioSourceInput ゲームオブジェクトの Audio Source に設定されている音声ですが、他の音声を設定することもできます。
![https://i.gyazo.com/6ff5ba997832da258d4f208b5903402c.png](https://i.gyazo.com/6ff5ba997832da258d4f208b5903402c.png)
映像や音声を送らないようにする¶
サンプル集では 映像や音声を送らないようにするパラメータとして以下を用意しています。
Video
No Video Device
Audio
No Audio Device
Video や Audio を OFF にすることでデバイスを掴んだ状態で映像や音声を送らないようにすることができます。
この状態ではセルフビューには映像や音声が表示されます。
No Video Device や No Audio Device を ON にすることでデバイスを掴まない状態で映像や音声を送らないようにすることができます。
この状態ではセルフビューには映像や音声が表示されません。
![https://i.gyazo.com/f4dee1a305b9095010e4f1ba043fa5a4.png](https://i.gyazo.com/f4dee1a305b9095010e4f1ba043fa5a4.png)
ハードウェアエンコーダを使用する¶
Use Hardware Encoder を ON にすることでハードウェアエンコーダを使用することができます。
この設定を OFF にするとハードウェアエンコーダを使用しないようになります。
デフォルトは ON です。
![https://i.gyazo.com/f4dee1a305b9095010e4f1ba043fa5a4.png](https://i.gyazo.com/f4dee1a305b9095010e4f1ba043fa5a4.png)
映像コーデックを指定する¶
Video Codec Type を指定することで映像コーデックを指定することができます。
映像コーデックは SDK で定義しているものを指定する必要があります。
VP8 / VP9 / H264 / H265 / AV1 が指定できます。
警告
Windows と Ubuntu 22.04 で H.265 を利用するには、 Intel VPL または NVIDIA Video Codec SDK が必要です。
![https://i.gyazo.com/e5340ab530dc37cda2498771a4d8ef9f.png](https://i.gyazo.com/e5340ab530dc37cda2498771a4d8ef9f.png)
映像コーデックパラメータを指定する¶
サンプル集では映像コーデックパラメータを指定することができます。
映像コーデックパラメータは VP9 / AV1 / H.264 で指定できます。
![https://i.gyazo.com/f7228c84fb310a44c8e68f8c81e8bf9a.png](https://i.gyazo.com/f7228c84fb310a44c8e68f8c81e8bf9a.png)
VP9 の映像コーデックパラメータ¶
Enable Video Vp 9 Params を ON にします
Video Vp 9 Params Profile Id を 0-3 の値に設定します
AV1 の映像コーデックパラメータ¶
Enable Video Av 1 Params を ON にします
Video Av 1 Params Profile を 0-2 の値に設定します
H.264 の映像コーデックパラメータ¶
Enable Video H264 Params を ON にします
Video H264 Params Profile Level Id を設定します (例:42e01f)
音声コーデックを指定する¶
Audio Codec Type で音声コーデックを指定することができます。
利用できるコーデックは OPUS です。
![https://i.gyazo.com/4b5784adf51e92332fd1e2686fc6dbb7.png](https://i.gyazo.com/4b5784adf51e92332fd1e2686fc6dbb7.png)
音声ストリーミングを有効にする¶
Audio Streaming Language Code に言語コードを設定することで音声ストリーミングを有効にすることができます。
音声ストリーミングの詳細は Sora のドキュメント を参照してください。
![https://i.gyazo.com/b057626f9a52608f89ac732856373e2a.png](https://i.gyazo.com/b057626f9a52608f89ac732856373e2a.png)
映像ビットレートを指定する¶
映像ビットレートを指定するには Video Bitrate を設定します。
0 の場合 Sora のデフォルト設定が利用されます。
![https://i.gyazo.com/663526d8066cda930345cea61f959625.png](https://i.gyazo.com/663526d8066cda930345cea61f959625.png)
映像フレームレートを指定する¶
映像フレームレートを指定するには Video Fps を設定します。
デフォルトでは 30fps です。
![https://i.gyazo.com/0e97646d76093e82a353f8c5d6bb2e64.png](https://i.gyazo.com/0e97646d76093e82a353f8c5d6bb2e64.png)