ありがとうございます。
2について、出来たら嬉しくはありますが、手順をご存じでしたら知りたいです。
3について、家でpcを付けてモバイルワイファイを持てば外出先でもできるのでしょうか？

りどさん
閲覧ならびにコメントありがとうございます。
Moonlightでのストリーミング設定、いくつか壁にぶつかっているようですね。
ご質問の件について、システムの仕様とインフラの観点から回答します。

1：特定ゲーム（Hoyoverse等）の起動とError 104について
私自身はHoyoverse系のタイトルをプレイしていないため実機検証はしていませんが、構造上の原因は推測できます。
Desktop画面が映るのに個別アプリでError 104（RTSP handshake失敗）が出る場合、PC側のストリーミングソフト（Sunshine等）に登録した実行ファイルのパスが間違っているか、
Windowsファイアウォールがそのアプリの通信を遮断している可能性が高いです。
また、Hoyoverse系のゲームは強力なアンチチートプログラムが常駐するため、外部からの仮想的なストリーミング操作を不正ツールとして弾く仕様が一般的です。
ランチャーではなくゲーム本体のexeファイルを直接指定する、あるいはPC側のストリーミングソフトを管理者権限で実行するなどのアプローチを試してみてください。

2：音声の分離（ゲーム音だけをVitaに出せるか）について
結論から言うと、Steam Big Picture経由であっても、Moonlight単体の機能ではゲーム音だけの分離は不可能です。
MoonlightはWindowsのシステム上で鳴っている音（既定のデバイスの音）を丸ごとキャプチャして転送する仕様だからです。
どうしても音声を分離したい場合は、PC側にVoiceMeeterなどの仮想オーディオミキサーソフトを導入し、OSレベルで音声の出力先ルーティングを物理的に分ける必要があります。

3：ストリーミングがたまに失敗する原因について
Vitaに搭載されているWi-Fiモジュールは旧世代の2.4GHz帯のみであり、電子レンジやBluetoothなど周囲の電波干渉を非常に受けやすいです。
ストリーミング開始時の通信確立（ハンドシェイク）でパケットロスが起きるとタイムアウトで失敗します。
これはVita側の物理的な仕様限界であるため、PC側を必ず有線LANで接続し、Vitaとルーターの間に障害物がない環境で接続するなどの環境の最適化が不可欠です。

まずはPC側の実行ファイルのパス指定と、管理者権限での実行から検証してみてください。