blog.dopana

戻る

ChatGPTを開いて質問を入力すると、誰かが live でタイプしているように文字が一語ずつ現れます。この「速さ」の正体はどこにあるのでしょうか?

多くの人は「WebSocketが一番速いはず」と考えます。しかし意外な真実があります。現在の主要なLLM API(OpenAI、Anthropic、DeepSeek)のほとんどは、WebSocketよりはるかにシンプルな SSE(Server-Sent Events) でトークンをストリーミングしています。

では、SSEが勝つのはいつか? WebSocketが勝つのはいつか? そして10k、100k、100万接続にスケールしたい場合、本当のボトルネックはどこにあるのか?

本記事では リアルタイムシステムと高性能バックエンドを専門とするソフトウェアアーキテクト の視点から解説します。

1. 10歳児向け解説(ELI5)#

2つの連絡手段を想像してください:

  • SSEは学校の校内放送のようなもの: 校長先生(サーバー)だけが話し、全校(クライアント)が聞きます。一方向でシンプル、誰でもはっきり聞こえます。生徒が返事をしたい場合は、手を挙げて別の部屋に行く必要があります(別のHTTPリクエスト)。
  • WebSocketは双方向ビデオ通話のようなもの: 両者が同じ回線でずっと話し続けます。柔軟ですが、発信 setup(ハンドシェイク)、回線維持、切断対応(手動リコネクト)が自分持ちです。

[!NOTE] SSE = 一方向(server → client)、プレーンHTTP上で動作。WebSocket = 双方向(client ↔ server)、1本の永続TCPコネクション上で動作。

2. 仕組み#

SSE: ぶら下がり続けるHTTPコネクション#

クライアントは普通の GET を送り、サーバーはすぐに応答を完結させず、コネクションを開いたままテキストを流し続けます:

loop[トークンごと]GET /api/chat/stream (HTTP)HTTP 200 text/event-streamdata: {"token": "こん"} data: {"token": "にちは"} data: [DONE] "Client (EventSource)"Server"Client (EventSource)"Server

強み:

  • 中身はHTTPなので、あらゆるプロキシ・CDN・ロードバランサを通過できる。
  • ブラウザが自動リコネクトし、Last-Event-ID で resume できる。
  • デバッグが容易: Network タブで流れるテキストが見える。

弱み:

  • server → client のみ。client → server には別HTTPエンドポイントが必要。
  • テキスト(UTF-8)のみ。バイナリは base64 が必要。

WebSocket: 1回のハンドシェイクで話し続ける#

クライアントはHTTPからWebSocketへ1回だけ upgrade し、以後はバイナリフレームを相互に送ります:

loop[双方向]GET /ws (Upgrade: websocket)101 Switching Protocolsframe(token)frame(cancel / approve / position)frame(token)ClientServerClientServer

強み:

  • 同一コネクションでネイティブな双方向通信。
  • フレーム overhead はわずか2〜6バイト(HTTPリクエスト毎の約600バイトのヘッダに対して)。
  • テキストとバイナリの両方に対応。

弱み:

  • リコネクト、heartbeat、resume、再認証は自前実装。
  • upgrade ハンドシェイク用にプロキシ/CDNの特別設定が必要な場合がある。
  • SSEのような HTTP/2 多重化の恩恵は受けられない。

3. 比較表(TL;DR)#

観点SSEWebSocket
レイテンシ🟢 非常に低い🟢 非常に低い、やや低いことが多い
Server → client🟢 非常に良い🟢 非常に良い
Client → server🟡 別HTTPが必要🟢 ネイティブ
プロトコル overhead🟢 低い🟢 非常に低い(2〜6バイト)
バックエンドCPU🟢 シンプルなことが多い🟡 やや高め
メモリ🟢 良好🟢 良好
10k接続🟢 問題ないことが多い🟢 問題ないことが多い
100k+接続🟡 スタック/プロキシ依存🟢 向いていることが多い
LLMストリーミング🟢 非常に向いている🟢
双方向リアルタイム❌🟢 向いている

[!TIP] 経験則: サーバーからの push だけならSSE。両者が話し続けるならWebSocket。

4. ケース1: 一方向ストリーム(LLMチャット)#

サーバーは以下を送ります:

token 1
token 2
token 3
token 4
...
text

SSEでは:

Server ───────────────────────> Client
       stream data continuously
text

非常に効率的です。Node.js サーバーは数行で書けます:

ブラウザ側はライブラリ不要です:

client-sse.js
const es = new EventSource('/api/chat/stream');
es.onmessage = (e) => {
  if (e.data === '[DONE]') return es.close();
  appendToChat(JSON.parse(e.data).token);
};
javascript

WebSocketでも可能です:

WebSocket frame
WebSocket frame
WebSocket frame
...
text

同じく高速ですが、双方向の利点を活かせません。ラジオを聴くためだけにフラッグシップスマホを買うようなものです。

5. ケース2: 極小・高頻度・双方向メッセージ#

ゲーム、マウス位置、共同編集など:

Client → position
Server → position
Client → position
Server → position
...
text

例えば100〜1000メッセージ/秒/client。

WebSocketの方が向いていることが多い です。継続的な双方向通信のために設計され、フレーム overhead が低く、上り方向ごとに新規HTTPリクエストを開く必要がないからです。

HTTPリクエストは毎回約600バイトのヘッダを持ちます。WebSocketフレームは2〜6バイトです。100 msg/s × 10k clients で掛け算すれば、帯域差は現実的なものになります。

client-ws.js
// WebSocket: 1コネクションで送受信し放題
const ws = new WebSocket('wss://example.com/agent');
ws.onmessage = (e) => renderAgentEvent(JSON.parse(e.data));
// 途中キャンセル、tool call承認、位置送信 — 同じ回線で
ws.send(JSON.stringify({ type: 'cancel' }));
ws.send(JSON.stringify({ type: 'approve-tool-call', id: 'tool-123' }));
javascript

6. 重要な注意: 10倍速を期待しない#

以下は期待しないでください:

WebSocketはSSEより10倍速い。

実際のアプリケーションでは、レイテンシは以下に支配されます:

LLM generation
    ↓
database
    ↓
business logic
    ↓
network
    ↓
browser rendering
text

SSE/WebSocket自体ではありません。

LLMが最初のトークン生成に500msかかるなら、WebSocketがSSEより数ms速くても無意味です。localhostベンチマークでは1000接続時の平均レイテンシはWebSocketで約18msとやや良好ですが、多数の passive client への純粋な server → client ブロードキャストでは、プレーンなHTTPセマンティクスのSSEの方が軽量なこともあります。

[!WARNING] 間違った層の最適化は典型的な病気です。LLMのTTFT(初回トークンまでの時間)、DBクエリ、レンダーコストを測らずにプロトコルを変えてもUXはほぼ改善しません。

7. AIプロジェクトではどちらを選ぶか?#

AIチャット / LLMストリーミング が目的なら、私は以下を選びます:

POST /api/chat
       ▼
     Server
       ▼
SSE /api/chat/stream
       ├─token
       ├─token
       ├─token
       ├─token
       └─done
text

WebSocketではなく。理由: シンプルで、あらゆるインフラを通過し、自動リコネクトし、十分速いからです。

一方で将来こうなるなら:

AI Agent
   ↕
Browser
   ↕
Tool execution
   ↕
Terminal
   ↕
Agent events
text

多くの 双方向リアルタイム イベント(生成キャンセル、tool call承認、途中 steering、マルチデバイス同期)があれば、WebSocketの意味が大きくなります。

判断チェックリスト:

  • トークンを下すだけ? → SSE。
  • ストリーム途中で cancel/steer/approve が必要? → WebSocket(SSE + 追加HTTP POSTでも可能だが、相互作用が増えるほど複雑化)。
  • バイナリ(音声/映像リアルタイム)が必要? → WebSocket(またはWebRTC)。
  • 古いCDN/プロキシ配下? → SSEの方が安全。

8. 10k / 100k / 100万接続へのスケール#

10k / 100k / 100万の同時接続 が目標なら、話はかなり変わります。その時 SSE vs WebSocketはごく一部 に過ぎません。より重要なのは:

  • コネクションアーキテクチャ: イベントループ(Node.js、Go、Elixir)、sticky session、sharding。
  • プロキシ/ロードバランサ: Nginx、ALB、Cloudflareがkeep-alive + upgradeを維持できるか?
  • カーネル/ソケット制限: file descriptor、TCPチューニング、TIME_WAIT。
  • バックプレッシャ: サーバーがクライアントより速い場合、どこでバッファするか?
  • 大量切断時の resume / reconnect 戦略。

まとめ:

SSE = 一方向ストリーミング向けに非常に良い性能 + シンプル。 WebSocket = 高頻度な双方向リアルタイム向けにより良い性能。

参考文献#