blog.dopana

返回

你是否想过在自己的电脑上运行像GPT-4这样强大的AI模型?直到最近,这都是不可能的 - 1250亿参数的模型需要昂贵的服务器和专用GPU。但现在有了Strata,你可以在自己的游戏PC上直接运行Qwen3.8-Flash-Next,这是一个1250亿参数的AI模型。

为什么这很重要#

想象一下:你在写代码需要AI助手。每次向OpenAI、Anthropic或其他云API发送提示词时,你都要面对:

  • 成本: API账单(大量使用时每月数千美元)
  • 隐私: 代码和数据发送到第三方服务器
  • 延迟: 网络延迟,有时服务器过载
  • 依赖: 依赖互联网和外部服务

Strata通过将大型AI模型的力量直接带到你的机器上,解决了所有这些问题。

Strata是什么#

Strata是一个C++推理引擎,让你在普通硬件上运行Qwen3.8-Flash-Next - 一个1250亿参数的AI模型:

  • GPU: NVIDIA GeForce RTX 20/30/40/50系列或AMD Radeon RX 7900/7800/7700系列(需要12GB以上VRAM)
  • RAM: 32GB或更多(所有模型大小需要64GB)
  • 操作系统: Windows 10/11或Linux
  • 设置: 一键安装 - 无需Docker,无需复杂配置

[!TIP] Strata是免费开源的(MIT许可证)。没有任何内容离开你的PC - 一切都在本地运行。

Strata如何工作#

要理解Strata,想象一个披萨餐厅:

  • 完整AI模型(125B): 餐厅有125位厨师。但每个订单只需要6位厨师工作(6B activated parameters) - 这就是Mixture-of-Experts(MoE)架构。
  • Strata: 像一个智能经理,知道为每个任务调用哪些厨师。
  • 量化: 像简化的烹饪 - 不使用完整食材,Strata使用压缩技术(Q2_0、IQ2_XS、IQ3_S)来减小模型大小同时保持质量。
6B activated用户提示词Strata引擎选择专家Qwen3.8-Flash-Next 125BGPU处理响应

Qwen3.8-Flash-Next架构#

Qwen3.8-Flash-Next使用特殊架构:

  • 125B参数总计: 参数总数
  • 每个token激活6B: 每次生成只激活60亿参数(非常高效)
  • 51B n-gram嵌入: 存储在GPU外的n-gram嵌入表
  • 48层: 48个神经网络层
  • Gated DeltaNet + MoE: 结合DeltaNet(用于序列处理)和Mixture-of-Experts(用于专业化)

这使得模型既强大又高效 - 与之前的模型相比,激活参数只有1/3。

实际速度#

Strata很快 - 在普通游戏PC上:

GPU写入速度(token/秒)读取速度(token/秒)
RTX 5070 (12GB) - Q2_0942,650
RTX 5070 (12GB) - IQ3_S531,620
RX 9070 XT (16GB) - Q2_0601,160

[!NOTE]

  • 写入答案: 短聊中回复显示的速度。60 token/秒比你阅读的速度快。
  • 读取你的提示词: 处理长提示词的速度(32K token = 约24,000词)。

1个token ≈ 3/4个词。所以60 token/秒 ≈ 45词/秒 - 足够快以进行舒适聊天。

安装和使用#

快速安装#

Windows:

# 下载并解压Strata
# 双击START-HERE.bat
bash

Linux:

git clone https://github.com/Niko1221/Strata.git
cd Strata
./setup.sh
bash

安装程序会自动:

  1. 检测你的GPU
  2. 选择合适的引擎(NVIDIA或AMD)
  3. 问你几个问题(模型、大小、上下文、图像支持)
  4. 下载模型(约70GB)
  5. 在http://127.0.0.1:8080启动服务器

[!WARNING]

  • 首次启动:你的PC可能会变慢或无响应1-3分钟 - Strata正在将35-55GB加载到RAM。这是正常的。
  • 不要关闭窗口 - 等待它完成。

在你的应用中使用#

Strata暴露OpenAI兼容API:

基础URL: http://127.0.0.1:8080/v1

Claude Code示例:

ANTHROPIC_BASE_URL=http://127.0.0.1:8080
bash

任何支持OpenAI API的应用都可以工作 - 只需更改基础URL。

选择哪个模型?#

安装程序会根据你的RAM推荐:

RAM推荐模型原因
32GBCoder适合32GB,代码专用
48GBIQ2_XS(或Q2_0)更大的大小不适合
64GBIQ2_XS(推荐)或IQ3_XXS/IQ3_S所有大小都适合
96GB+IQ3_S或UD-IQ4_XS有空间容纳最大大小

特殊模型:

  • Coder: 代码专用版本,达到完整模型SWE-bench Verified分数的91%。在其他任务上较弱(特别是中文和其他CJK文本)。
  • Swift 1.5: 回答前思考时间更短的微调 - 更快获得答案,质量相似。
  • Unsloth UD-IQ4_XS: Unsloth的约4位版本,质量介于IQ3_S和UD-Q4_K_XL之间。

为什么选择Strata?#

1. 绝对隐私#

使用Strata,没有任何内容离开你的PC。代码、文档、聊天记录 - 一切都保留在本地。特别重要的是:

  • 需要数据安全的公司
  • 医疗保健、法律、金融
  • 敏感项目

2. 成本节约#

云API很昂贵:

  • OpenAI GPT-4:约$30/100万token
  • Claude 3.5 Sonnet:约$15/100万token
  • 大量使用 = 每月数千美元

Strata:

  • 成本:$0(仅电费)
  • 数量:无限制
  • 回本:适度使用几个月

3. 网络独立性#

下载模型后不需要互联网。离线工作,任何地方。

4. 完全自定义#

  • 选择模型大小
  • 调整上下文长度(记住多少文本)
  • 切换思考(推理努力)
  • 多GPU(层分割)
  • 多个并发请求的批处理

实际示例#

本地聊天#

在http://127.0.0.1:8080打开浏览器,像与其他AI一样聊天:

User: 像对10岁孩子一样简单解释Mixture-of-Experts架构。

Strata: 想象一所学校有125位老师。
当学生提问时,只有该科目最精通的
6位老师被叫来回答。其他老师休息。
这有助于学校节省能量并一次处理
更多学生。
text

使用Claude Code编码#

# 安装Claude Code
# 设置环境变量
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080

# 正常使用
claude-code "为此API添加身份验证"
bash

Claude Code会调用本地Strata而不是Anthropic API。

读取图像#

如果在设置中启用”图像?“,Strata可以理解图像:

User: [发送截图图像]
描述此UI并编写等效的HTML。

Strata: 这是一个带有电子邮件、密码
和"Sign In"按钮的登录表单。HTML如下:

<form>
  <input type="email" placeholder="Email" />
  <input type="password" placeholder="Password" />
  <button>Sign In</button>
</form>
text

[!NOTE]

  • AMD on Linux:通过CPU读取图像
  • AMD on Windows:尚不支持图像读取

限制和注意事项#

硬件要求#

Strata不适合每台机器:

  • GPU: 需要12GB以上VRAM。旧卡(GTX 10系列)可以工作但很慢。
  • RAM: 需要32GB以上。16GB不够。
  • 磁盘: 需要约80GB SSD。HDD会减慢首次启动。

速度#

  • token生成很快(50-100 token/秒)
  • 预填充(读取长提示词)较慢:30K token约1分钟
  • 后续消息由于缓存而更快

代码专用模型#

“Coder”模型在代码方面很强,但在其他任务上较弱,特别是中文和其他CJK语言。如果需要多语言支持,请选择Q2_0、IQ2_XS或IQ3_S。

与其他解决方案的比较#

功能StrataOllamaLM StudioCloud API
125B模型✅❌(通常7-70B)❌(通常7-70B)✅
设置一键简单简单不需要
APIOpenAI/AnthropicOpenAIOpenAI原生
隐私✅✅✅❌
成本$0$0$0$$
多GPU✅❌❌N/A
图像输入✅⚠️⚠️✅

结论#

Strata是本地LLM推理的重大进步:

  • 强大: 在消费级硬件上运行125B模型(服务器级)
  • 快速: 50-100 token/秒生成
  • 简单: 一键安装,OpenAI/Anthropic兼容API
  • 便宜: 免费,无API成本
  • 私密: 一切本地

如果你有配备12GB以上VRAM和32GB以上RAM的游戏PC,Strata是在不依赖云的情况下运行强大AI的绝佳方式。

参考文献#