blog.dopana

返回

你打开 ChatGPT,输入一个问题,文字像有人正在打字一样逐词出现。这种”快”的感觉到底来自哪里?

大多数人会猜:“肯定 WebSocket 最快”。但意外的真相是:如今主流 LLM API(OpenAI、Anthropic、DeepSeek)大多用 SSE(Server-Sent Events) 来流式输出 token——它比 WebSocket 简单得多。

那么,什么时候 SSE 更强?什么时候 WebSocket 更强?如果你想扩展到 10k、100k 甚至 100 万连接,真正的瓶颈又在哪里?

本文从 专注实时系统与高性能后端的软件架构师 视角给出答案。

1. 十岁小孩也能懂(ELI5)#

想象两种联系方式:

  • SSE 像学校的大喇叭: 只有校长(server)说话,全校(client)听。单向、简单、人人听得清。学生想回话,得举手去另一间屋(发另一个 HTTP 请求)。
  • WebSocket 像双向视频通话: 双方在同一条线路上持续对话。更灵活,但要拨号建连(handshake)、保持通话、自己处理掉线(手动重连)。

[!NOTE] SSE = 单向(server → client),跑在纯 HTTP 上。WebSocket = 双向(client ↔ server),跑在一条持久 TCP 连接上。

2. 它们如何工作#

SSE:一条悬着的 HTTP 连接#

客户端发一个普通 GET 请求,服务器不立即结束响应,而是保持连接敞开、持续往下写文本:

loop[每个 token]GET /api/chat/stream (HTTP)HTTP 200 text/event-streamdata: {"token": "你"} data: {"token": "好"} data: [DONE] "Client (EventSource)"Server"Client (EventSource)"Server

优势:

  • 本质就是 HTTP,能穿过所有代理、CDN、负载均衡。
  • 浏览器自动重连,并发送 Last-Event-ID 续传。
  • 好调试:打开 Network 面板就能看到文本往下流。

劣势:

  • 只能 server → client。client → server 需要调别的 HTTP 接口。
  • 只支持文本(UTF-8),二进制需 base64。

WebSocket:握手一次,畅聊到底#

客户端从 HTTP 升级到 WebSocket 仅一次,之后双方互发二进制帧:

loop[双向]GET /ws (Upgrade: websocket)101 Switching Protocolsframe(token)frame(cancel / approve / position)frame(token)ClientServerClientServer

优势:

  • 同一条连接原生双向通信。
  • 帧开销仅 2–6 字节(对比每个 HTTP 请求约 600 字节头)。
  • 同时支持文本与二进制。

劣势:

  • 重连、心跳、续传、重新鉴权都得自己做。
  • 部分代理/CDN 需要为 upgrade 握手做专门配置。
  • 享受不到 SSE 那样的 HTTP/2 多路复用红利。

3. 快速对比表(TL;DR)#

维度SSEWebSocket
延迟🟢 非常低🟢 非常低,通常略低一点
Server → client🟢 非常好🟢 非常好
Client → server🟡 需用别的 HTTP🟢 原生支持
协议开销🟢 低🟢 非常低(2–6 字节帧)
后端 CPU🟢 通常更简单🟡 略高一点
内存🟢 好🟢 好
10k 连接🟢 一般没问题🟢 一般没问题
100k+ 连接🟡 取决于技术栈/代理🟢 通常更合适
LLM 流式🟢 非常合适🟢
双向实时❌🟢 合适

[!TIP] 经验法则:只需要服务器往下推 → 选 SSE。双方持续对话 → 选 WebSocket。

4. 场景一:单向流(LLM 聊天)#

服务器发送:

token 1
token 2
token 3
token 4
...
text

用 SSE:

Server ───────────────────────> Client
       stream data continuously
text

非常高效。Node.js 服务端几行搞定:

浏览器端无需任何库:

client-sse.js
const es = new EventSource('/api/chat/stream');
es.onmessage = (e) => {
  if (e.data === '[DONE]') return es.close();
  appendToChat(JSON.parse(e.data).token);
};
javascript

WebSocket 也能做:

WebSocket frame
WebSocket frame
WebSocket frame
...
text

同样很快,但你根本用不上双向优势——好比买旗舰手机只用来听收音机。

5. 场景二:极小、极多、双向消息#

比如游戏、鼠标位置、协同编辑:

Client → position
Server → position
Client → position
Server → position
...
text

比如 100–1000 条消息/秒/客户端。

WebSocket 通常更合适,因为连接就是为持续双向通信设计的,帧开销低,上行不需要为每条消息新建 HTTP 请求。

每个 HTTP 请求携带约 600 字节头。WebSocket 帧只加 2–6 字节。乘以 100 msg/s × 10k 客户端,带宽差距非常真实。

client-ws.js
// WebSocket:一条连接,随便收发
const ws = new WebSocket('wss://example.com/agent');
ws.onmessage = (e) => renderAgentEvent(JSON.parse(e.data));
// 中途取消、批准 tool call、发送位置——同一条线
ws.send(JSON.stringify({ type: 'cancel' }));
ws.send(JSON.stringify({ type: 'approve-tool-call', id: 'tool-123' }));
javascript

6. 关键提醒:别指望快 10 倍#

别指望:

WebSocket 比 SSE 快 10 倍。

在真实应用里,延迟主要由以下决定:

LLM generation
    ↓
database
    ↓
business logic
    ↓
network
    ↓
browser rendering
text

而不是 SSE/WebSocket 本身。

比如 LLM 生成首个 token 要花 500ms,那 WebSocket 比 SSE 快几毫秒毫无意义。localhost 基准显示 1000 连接下 WebSocket 平均延迟约 18ms、略好一点——但对大量被动客户端的纯 server → client 广播,SSE 靠纯 HTTP 语义反而更轻。

[!WARNING] 优化错地方是常见病:不测量 LLM TTFT(首 token 时间)、DB 查询和渲染开销,光换协议几乎改善不了 UX。

7. 你的 AI 项目:怎么选?#

如果目标是 AI 聊天 / LLM 流式,我会选:

POST /api/chat
       ▼
     Server
       ▼
SSE /api/chat/stream
       ├─token
       ├─token
       ├─token
       ├─token
       └─done
text

而不是 WebSocket。理由:简单、穿透一切基础设施、自动重连、足够快。

但如果你以后要做:

AI Agent
   ↕
Browser
   ↕
Tool execution
   ↕
Terminal
   ↕
Agent events
text

有大量 双向实时 事件(取消生成、批准 tool call、中途 steering、多设备同步),那时 WebSocket 的意义就大多了。

决策清单:

  • 只往下流 token?→ SSE。
  • 需要客户端在流中间 cancel/steer/approve?→ WebSocket(SSE + 额外 HTTP POST 也行,但互动越多越乱)。
  • 需要二进制(实时音视频)?→ WebSocket(或 WebRTC)。
  • 跑在老旧 CDN/代理后面?→ SSE 更稳。

8. 扩展到 10k / 100k / 100 万连接#

如果目标是 10k / 100k / 100 万并发连接,故事就大不一样了——这时 SSE vs WebSocket 只是一小部分。更重要的是:

  • 连接架构:事件循环(Node.js、Go、Elixir)、粘性会话、分片。
  • 代理/负载均衡:Nginx、ALB、Cloudflare 能否保持 keep-alive + upgrade?
  • 内核/socket 限制:文件描述符、TCP 调优、TIME_WAIT。
  • 背压:服务器比客户端快时,缓冲放在哪?
  • 大面积掉线时的 resume/重连策略。

总结:

SSE = 性能很好 + 单向流更简单。 WebSocket = 高频双向实时性能更好。

参考文献#