你是否想过在自己的电脑上运行像GPT-4这样强大的AI模型?直到最近,这都是不可能的 - 1250亿参数的模型需要昂贵的服务器和专用GPU。但现在有了Strata,你可以在自己的游戏PC上直接运行Qwen3.8-Flash-Next,这是一个1250亿参数的AI模型。
为什么这很重要#
想象一下:你在写代码需要AI助手。每次向OpenAI、Anthropic或其他云API发送提示词时,你都要面对:
- 成本: API账单(大量使用时每月数千美元)
- 隐私: 代码和数据发送到第三方服务器
- 延迟: 网络延迟,有时服务器过载
- 依赖: 依赖互联网和外部服务
Strata通过将大型AI模型的力量直接带到你的机器上,解决了所有这些问题。
Strata是什么#
Strata是一个C++推理引擎,让你在普通硬件上运行Qwen3.8-Flash-Next - 一个1250亿参数的AI模型:
- GPU: NVIDIA GeForce RTX 20/30/40/50系列或AMD Radeon RX 7900/7800/7700系列(需要12GB以上VRAM)
- RAM: 32GB或更多(所有模型大小需要64GB)
- 操作系统: Windows 10/11或Linux
- 设置: 一键安装 - 无需Docker,无需复杂配置
[!TIP] Strata是免费开源的(MIT许可证)。没有任何内容离开你的PC - 一切都在本地运行。
Strata如何工作#
要理解Strata,想象一个披萨餐厅:
- 完整AI模型(125B): 餐厅有125位厨师。但每个订单只需要6位厨师工作(6B activated parameters) - 这就是Mixture-of-Experts(MoE)架构。
- Strata: 像一个智能经理,知道为每个任务调用哪些厨师。
- 量化: 像简化的烹饪 - 不使用完整食材,Strata使用压缩技术(Q2_0、IQ2_XS、IQ3_S)来减小模型大小同时保持质量。
Qwen3.8-Flash-Next架构#
Qwen3.8-Flash-Next使用特殊架构:
- 125B参数总计: 参数总数
- 每个token激活6B: 每次生成只激活60亿参数(非常高效)
- 51B n-gram嵌入: 存储在GPU外的n-gram嵌入表
- 48层: 48个神经网络层
- Gated DeltaNet + MoE: 结合DeltaNet(用于序列处理)和Mixture-of-Experts(用于专业化)
这使得模型既强大又高效 - 与之前的模型相比,激活参数只有1/3。
实际速度#
Strata很快 - 在普通游戏PC上:
| GPU | 写入速度(token/秒) | 读取速度(token/秒) |
|---|---|---|
| RTX 5070 (12GB) - Q2_0 | 94 | 2,650 |
| RTX 5070 (12GB) - IQ3_S | 53 | 1,620 |
| RX 9070 XT (16GB) - Q2_0 | 60 | 1,160 |
[!NOTE]
- 写入答案: 短聊中回复显示的速度。60 token/秒比你阅读的速度快。
- 读取你的提示词: 处理长提示词的速度(32K token = 约24,000词)。
1个token ≈ 3/4个词。所以60 token/秒 ≈ 45词/秒 - 足够快以进行舒适聊天。
安装和使用#
快速安装#
Windows:
# 下载并解压Strata
# 双击START-HERE.batbashLinux:
git clone https://github.com/Niko1221/Strata.git
cd Strata
./setup.shbash安装程序会自动:
- 检测你的GPU
- 选择合适的引擎(NVIDIA或AMD)
- 问你几个问题(模型、大小、上下文、图像支持)
- 下载模型(约70GB)
- 在
http://127.0.0.1:8080启动服务器
[!WARNING]
- 首次启动:你的PC可能会变慢或无响应1-3分钟 - Strata正在将35-55GB加载到RAM。这是正常的。
- 不要关闭窗口 - 等待它完成。
在你的应用中使用#
Strata暴露OpenAI兼容API:
基础URL: http://127.0.0.1:8080/v1
Claude Code示例:
ANTHROPIC_BASE_URL=http://127.0.0.1:8080bash任何支持OpenAI API的应用都可以工作 - 只需更改基础URL。
选择哪个模型?#
安装程序会根据你的RAM推荐:
| RAM | 推荐模型 | 原因 |
|---|---|---|
| 32GB | Coder | 适合32GB,代码专用 |
| 48GB | IQ2_XS(或Q2_0) | 更大的大小不适合 |
| 64GB | IQ2_XS(推荐)或IQ3_XXS/IQ3_S | 所有大小都适合 |
| 96GB+ | IQ3_S或UD-IQ4_XS | 有空间容纳最大大小 |
特殊模型:
- Coder: 代码专用版本,达到完整模型SWE-bench Verified分数的91%。在其他任务上较弱(特别是中文和其他CJK文本)。
- Swift 1.5: 回答前思考时间更短的微调 - 更快获得答案,质量相似。
- Unsloth UD-IQ4_XS: Unsloth的约4位版本,质量介于IQ3_S和UD-Q4_K_XL之间。
为什么选择Strata?#
1. 绝对隐私#
使用Strata,没有任何内容离开你的PC。代码、文档、聊天记录 - 一切都保留在本地。特别重要的是:
- 需要数据安全的公司
- 医疗保健、法律、金融
- 敏感项目
2. 成本节约#
云API很昂贵:
- OpenAI GPT-4:约$30/100万token
- Claude 3.5 Sonnet:约$15/100万token
- 大量使用 = 每月数千美元
Strata:
- 成本:$0(仅电费)
- 数量:无限制
- 回本:适度使用几个月
3. 网络独立性#
下载模型后不需要互联网。离线工作,任何地方。
4. 完全自定义#
- 选择模型大小
- 调整上下文长度(记住多少文本)
- 切换思考(推理努力)
- 多GPU(层分割)
- 多个并发请求的批处理
实际示例#
本地聊天#
在http://127.0.0.1:8080打开浏览器,像与其他AI一样聊天:
User: 像对10岁孩子一样简单解释Mixture-of-Experts架构。
Strata: 想象一所学校有125位老师。
当学生提问时,只有该科目最精通的
6位老师被叫来回答。其他老师休息。
这有助于学校节省能量并一次处理
更多学生。text使用Claude Code编码#
# 安装Claude Code
# 设置环境变量
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
# 正常使用
claude-code "为此API添加身份验证"bashClaude Code会调用本地Strata而不是Anthropic API。
读取图像#
如果在设置中启用”图像?“,Strata可以理解图像:
User: [发送截图图像]
描述此UI并编写等效的HTML。
Strata: 这是一个带有电子邮件、密码
和"Sign In"按钮的登录表单。HTML如下:
<form>
<input type="email" placeholder="Email" />
<input type="password" placeholder="Password" />
<button>Sign In</button>
</form>text[!NOTE]
- AMD on Linux:通过CPU读取图像
- AMD on Windows:尚不支持图像读取
限制和注意事项#
硬件要求#
Strata不适合每台机器:
- GPU: 需要12GB以上VRAM。旧卡(GTX 10系列)可以工作但很慢。
- RAM: 需要32GB以上。16GB不够。
- 磁盘: 需要约80GB SSD。HDD会减慢首次启动。
速度#
- token生成很快(50-100 token/秒)
- 预填充(读取长提示词)较慢:30K token约1分钟
- 后续消息由于缓存而更快
代码专用模型#
“Coder”模型在代码方面很强,但在其他任务上较弱,特别是中文和其他CJK语言。如果需要多语言支持,请选择Q2_0、IQ2_XS或IQ3_S。
与其他解决方案的比较#
| 功能 | Strata | Ollama | LM Studio | Cloud API |
|---|---|---|---|---|
| 125B模型 | ✅ | ❌(通常7-70B) | ❌(通常7-70B) | ✅ |
| 设置 | 一键 | 简单 | 简单 | 不需要 |
| API | OpenAI/Anthropic | OpenAI | OpenAI | 原生 |
| 隐私 | ✅ | ✅ | ✅ | ❌ |
| 成本 | $0 | $0 | $0 | $$ |
| 多GPU | ✅ | ❌ | ❌ | N/A |
| 图像输入 | ✅ | ⚠️ | ⚠️ | ✅ |
结论#
Strata是本地LLM推理的重大进步:
- 强大: 在消费级硬件上运行125B模型(服务器级)
- 快速: 50-100 token/秒生成
- 简单: 一键安装,OpenAI/Anthropic兼容API
- 便宜: 免费,无API成本
- 私密: 一切本地
如果你有配备12GB以上VRAM和32GB以上RAM的游戏PC,Strata是在不依赖云的情况下运行强大AI的绝佳方式。