急須で入れたようななにか

私が所属しているサークルで毎月定期LT会をやっています。

私はこのLT会の主催者であり、司会者であり、配信者であり、登壇者です。
やっぱり主催となると張り切っちゃいません？

VTuberの配信みたいにしたい

VTuberの配信って良きですよね。
ライブ配信はオンライン授業しかり、就活の説明会しかり、各種あらゆるところで行われていますが、それを生業としているVTuberの配信のレベルの高さは、やはりずば抜けている気がします。

そんな配信スタイルにあこがれていました。VTuberになりたい！

あと、登壇者が頑張ってLT会の準備をしてくれてるのに、司会者が快適な場を提供できないのは罪かなって思ったり……(蘇る過去の経験)

やったこと

OBSで画面切り替え

OBSを使うことで、配信画面をいい感じに構築できます。

配信の背景や小物の素材はOKUMONOというVTuber向けフリー素材配布サイトよりお借りしました！

昔なんちゃってYouTuberをやっていたので、OBSはお手の物です。

配信待機画面などを作る

元なんちゃってYouTuberとして、昔ながらのAviutlで配信待機画面と終了画面をこしらえました。
決してレベルの高いものではありませんが、配信待機画面あるだけで、一気にVTuber感が増すんですよ。

配信待機画面

Aviutlのカメラ制御なんて使っちゃったりしてますよ……

配信終了画面は次の告知が入っているので、毎月文字を書き換えてエンコードし直しています。

みなさんは好きなVTuberの配信開始画面とか、ありますか？

自分は兎鞠まりのprrrrで始まる待機画面とか

しぐれうい先生のOS起動風配信待機画面とか

好きです。毎度ワクワクしちゃいます。
と、個人的な好きは置いておいて……

Live2Dで司会を動かす

モデル

VTuberさん御用達のLive2Dの出番です。
予算はないので、フリーアバターをお借りしました。

かにビーム先生の桃瀬ひよりちゃんです！

条件付きですが、商業利用もできちゃいます。

トラッキング

このLive2Dを動かす訳ですが、市販の激安webカメラでできちゃいます。(LiDARみたいなの要らないんですよ)
そして、そのwebカメラの入力を元にLive2Dをトラッキングして動かすツールはいくつかあります。

• Animaze(FaceRigの後継ソフトウェアで、Steamよりダウンロードできます)

• VTube Studio(Steamよりダウンロードできます)

• kalidoface(ブラウザで動きます、Live2Dだけじゃなくてvrm(3Dモデル)も対応しています)

みたいな所が有名所でしょうか。

そして、
選ばれたのはVTube Studioでした。

理由はシンプルで、3つ使ってみて一番トラッキングが"かわいく"反映されたから！

使用しているWebカメラは、Amazonで一番安かったLogicoolのC270です。

3Dお披露目なんてこともしちゃったり

VTuberといえば3Dお披露目イベントは欠かせません。
LT会もずっと同じ立ち絵のLive2Dでは飽きられかねません。
そこで、3Dお披露目の出番です。

3Dモデル

今回は有料アバターを買っちゃいました。

みなほしちゃんです！

前から気になってた子だし、別の機会にVRChatでも使えるし、今月バイトのお賃金お高めだったし……？

ちなみに、上の画像の撮影は猫屋敷やよいさんのYayoi forest pathで行いました！
てれかすさんの楽曲「ジト目の女の子になりたかった」の聖地でもあったりします✨

みなほしちゃん、配信でも非商用なら使えます。
もちろん弊サークルのLT会は大学生のお遊戯なので、非商用です。(お金が主催者の財布からしか減っていない)

キャプチャまでの長い道のり

実はVRゴーグルを購入してまして……整えられる環境はあるんです。

Oculus Quest2(VRゴーグル) ←Oculus AirLink→ PC

で繋いだ後、

Quest2上でAirLinkを起動

↓
Oculusアプリ上でSteamVRを起動

↓
SteamVR上でVRChatを起動

↓
VRChat上でXSOverlayを動かす

ことでバーチャルから自然にパソコンを操作して配信できます（GPUが激アツ）

XSOverlayというソフトウェア(有料)を使うと、VRソフト上にPCの画面をオーバーレイできちゃうんです。

こんな感じ↓

さらにVRChatのSteam Cameraを用いると、PCの画面に「VR上のカメラから見た映像」が出力できます。
これをOBSでキャプチャすることで、配信できます。

さらにさらに、このSteam Cameraにはグリーンバックにする機能もあります！

これを使うことで3D配信が実現できています。

もちろんwebカメラで3Dモデルを動かすことはできます。

例えば先述のKalidofaceなんてものを使えば、ブラウザとwebカメラだけでlive2Dも3Dモデルも両対応です。

でもやっぱり、手をしっかり動かしたり、体全体で表現したくないですか？
VTuberさん方は動きに特化したwebカメラを持っていたりしますが、そんなものはないので……このアプローチを取りました。

ただ、RTX3070くんには辛すぎたようで……激重です。GPU使用率99%とかで張り付いています。
この状態でDiscordに画面を流しつつ、OBSで録画もするというGPU虐をしています。

普段の利用にはちょっときつすぎるかな……（カクカクだとVR酔いが早まります……)

(改)3Dお披露目

上記の3Dお披露目はパソコンの体力的にも、私の体力的にも厳しかったため、もうつらいよ……ってなっちゃいました。
でも2Dにするとなんだか物足りない気がして、第4回目は落とし所としてwebカメラで3Dモデルを動かす方式を使いました。

先述のトラッキングの章でkalidofaceをご紹介しましたが、こちらが3Dモデルに対応しているので使うことにしました。
若干プルプルしますが、とてもきれいにトラッキングできます。

vrmファイルが必要なので、先程の「みなほし」ちゃんはお役御免です……(自分で変換する力はなかった……)
新しくメープルちゃんの登場です。この子はvrmファイルもBOOTHで同封されて販売されています。

設定を変えるとハンドトラッキングや脚までトラッキングできちゃいます……
ただメモリが足りないのか頻繁に落ちちゃうので、顔だけのトラッキングにしました。

ウインクも綺麗にできます！！

VRChatと違い、音声をもとに口で動かすわけではないため、口の動きはある程度大雑把になります。
それでも問題ないくらい自然な動きです。

改善のサイクル

毎回終了後にアンケートを取っています。

時間帯により参加できない問題の解消

この問題はシンプルに録画をすることで解消しました。登壇したい方の解消はできていませんが……

部内限定公開でYouTubeに上げています。
OBSには録画機能があるといいつつも、意外と簡単ではなかったりします。

Discordそのままを共有してもダメなんです。登壇者の声が入りません。
なので、登壇者の声が入ってるDiscordの音声も録画時にミックスしつつ、自分の声はDiscordから出力はされてますが入力はされていないので、マイクの入力も録画時にミックスしつつ……と一度作っちゃえば簡単ですが、最初は苦戦していました。

あとは小さなことですが、タイムスタンプで各登壇者のところに行きやすくしています。

さらにOPとEDのBGMも録画時はミックスされているのですが、こちらはDiscordでの配信時は載せれませんでした……

OBSの都合上、仮想カメラとしてDiscordに投げて、webカメラと同じ要領で画面共有をしています。そうすると音声は原則マイク入力1つのみです。
マイク入力前にオーディオミキサーでいじくればBGMも配信で載せれます。ごっつい機械無くてもソフトウェアで実現できちゃうんです。
しかし、検証してみるとDiscordの気の利いたノイズ除去やエコー除去のせいか、ぷつぷつのBGMになっちゃたんですよね……(ノイズ除去を切ったりしてみても、難しそうだったので断念……UDPだからかな……)

登壇者がタイマー見れない問題の解消

3回目からは登壇中に登壇者が画面見れない問題の解消として、CHRONOGRAPHと言う同期タイマーを導入しました。
URLを共有することで、任意のユーザーが同期されたタイマーを閲覧できます！

OBSではCSSを上書きできる機能があるので、タイマーの背景画像と色をふっとばして、文字色をいじることで、配信画面上にも違和感なく表示しています。(こんなところでWebエンジニアとしての力が発揮できた！）

録画時のマイク問題の解消

他の登壇者の登壇時、もちろん司会はDiscordでミュートにするのですが、録画には載っちゃいます。
これが結構深刻で、他の方の登壇中にも、録画に私のキーボードでコメント打つ音がバチバチに入っちゃってました。

これを解決したのがWindows PowerToysに入っている、音ぶった切り機能です。

個別にアプリケーションでミュートするのではなく、マイクの入力自体を一時的に無効化できちゃいます。

あくまで登壇者がメイン

見出しのとおりです。司会が目立ちすぎちゃだめですよね……
そこがVTuberの配信と大きく違うところで、他の方の登壇中には司会の姿を消すなど、目立ちすぎないように気をつけています。

発表の様子

他の方の発表は著作権などありますので、自分が出ているところだけです……！

これって意味あったの？

正直、LT会登壇者は増えませんでした。

50人のサークルでリアルタイム視聴は第1回が10人、第2回が8人、第3回が5人です。減ってる……
土曜の夜というゴールデンタイムを加味しても少ない気がしなくもないですが、大事なのは安定して見てくれている層がいることです。
YouTuber的な指標としてかなり大事な気がします。

ただ、まぁ究極、ただの自己満足です。
CPUとGPUもフルに使われて、シリコン達も満足していると思います←？？

それにバイトでお金をためて買ったパソコンが、予定していなかった用途でも活躍できるのは嬉しいものです。
ワンオペはきついですが、ワンオペだからこそ、ここまで自由勝手にできちゃうのもあります。

個人勢として、就活と授業とバイトをしながら、かなり頑張っていると思いませんか？
（ほめて！！！）

おわり