blog.dopana

Quay lại

Bạn đã bao giờ muốn chạy một mô hình AI mạnh như GPT-4 trên máy tính của mình? Trước đây, điều này là không thể - các mô hình 125 tỷ tham số cần server đắt tiền và GPU chuyên dụng. Nhưng với Strata, giờ đây bạn có thể chạy Qwen3.8-Flash-Next, một mô hình AI 125B, ngay trên PC gaming của mình.

Tại sao điều này quan trọng?#

Hãy tưởng tượng thế này: Bạn đang viết code và cần AI trợ giúp. Mỗi lần gửi prompt đến OpenAI, Anthropic, hoặc các cloud API khác, bạn:

  • Tiền: Tiền tiêu cho API (hàng ngàn đô mỗi tháng nếu dùng nhiều)
  • Riêng tư: Code và dữ liệu của bạn được gửi đến server bên thứ ba
  • Độ trễ: Phải chờ mạng, đôi khi server quá tải
  • Phụ thuộc: Phụ thuộc vào kết nối internet và dịch vụ bên ngoài

Strata giải quyết tất cả这些问题 bằng cách đưa sức mạnh của mô hình AI lớn về ngay máy tính của bạn.

Strata là gì?#

Strata là một engine inference viết bằng C++ giúp bạn chạy Qwen3.8-Flash-Next - một mô hình AI 125 tỷ tham số - trên phần cứng bình thường:

  • GPU: NVIDIA GeForce RTX 20/30/40/50 series hoặc AMD Radeon RX 7900/7800/7700 series (cần 12GB VRAM trở lên)
  • RAM: 32GB trở lên (64GB cho tất cả kích thước mô hình)
  • Hệ điều hành: Windows 10/11 hoặc Linux
  • Cài đặt: Một cú nhấp chuột - không cần Docker, không cần config phức tạp

[!TIP] Strata miễn phí và open-source (MIT license). Không gì rời khỏi PC của bạn - mọi thứ chạy cục bộ.

Cách Strata hoạt động#

Để hiểu Strata, hãy nghĩ về một cửa hàng pizza:

  • Mô hình AI đầy đủ (125B): Cửa hàng có 125 đầu bếp. Nhưng mỗi đơn hàng chỉ cần 6 đầu bếp hoạt động (6B activated parameters) - đây là kiến trúc Mixture-of-Experts (MoE).
  • Strata: Như người quản lý thông minh, biết khi nào gọi đầu bếp nào ra làm việc.
  • Quantization: Như cách nấu ăn tóm gọn - thay vì dùng nguyên liệu đầy đủ, Strata dùng công nghệ nén (Q2_0, IQ2_XS, IQ3_S) để giảm kích thước mô hình mà vẫn giữ chất lượng tốt.
6B activatedPrompt từ người dùngStrata EngineChọn ExpertQwen3.8-Flash-Next 125BGPU xử lýResponse

Kiến trúc Qwen3.8-Flash-Next#

Qwen3.8-Flash-Next sử dụng kiến trúc đặc biệt:

  • 125B parameters total: Tổng số tham số
  • 6B activated per token: Chỉ 6 tỷ tham số hoạt động mỗi lần (khá tiết kiệm)
  • 51B n-gram embeddings: Bảng embedding từ n-gram được lưu ngoài GPU
  • 48 layers: 48 lớp mạng neural
  • Gated DeltaNet + MoE: Kết hợp DeltaNet (cho xử lý chuỗi) và Mixture-of-Experts (cho chuyên môn hóa)

Điều này giúp mô hình vừa mạnh vừa hiệu quả - chỉ dùng 1/3 activated parameters so với các mô hình trước đó.

Tốc độ thực tế#

Strata rất nhanh - trên PC gaming bình thường:

GPUTốc độ ghi (tokens/s)Tốc độ đọc (tokens/s)
RTX 5070 (12GB) - Q2_0942,650
RTX 5070 (12GB) - IQ3_S531,620
RX 9070 XT (16GB) - Q2_0601,160

[!NOTE]

  • Writes answers: Tốc độ hiển thị response trong chat ngắn. 60 tokens/s nhanh hơn tốc độ đọc của bạn.
  • Reads your prompt: Tốc độ xử lý prompt dài (32K tokens = khoảng 24,000 từ).

Một token ≈ ¾ từ. Tức là 60 tokens/s ≈ 45 từ/giây - đủ nhanh để chat thoải mái.

Cài đặt và sử dụng#

Cài đặt nhanh#

Windows:

# Tải về và giải nén Strata
# Double-click START-HERE.bat
bash

Linux:

git clone https://github.com/Niko1221/Strata.git
cd Strata
./setup.sh
bash

Installer sẽ tự động:

  1. Phát hiện GPU của bạn
  2. Chọn engine phù hợp (NVIDIA hoặc AMD)
  3. Hỏi bạn vài câu (mô hình, kích thước, context, có cần đọc ảnh không)
  4. Tải mô hình (~70GB)
  5. Khởi động server tại http://127.0.0.1:8080

[!WARNING]

  • Lần đầu khởi động, PC có thể chậm 1-3 phút - Strata đang tải 35-55GB vào RAM. Đây là bình thường.
  • Đừng đóng cửa sổ - chờ nó hoàn tất.

Sử dụng với app của bạn#

Strata暴露 OpenAI-compatible API:

Base URL: http://127.0.0.1:8080/v1

Ví dụ với Claude Code:

ANTHROPIC_BASE_URL=http://127.0.0.1:8080
bash

Bất kỳ app nào hỗ trợ OpenAI API đều hoạt động - chỉ cần đổi base URL.

Chọn mô hình nào?#

Installer sẽ gợi ý dựa trên RAM của bạn:

RAMMô hình khuyến nghịLý do
32GBCoderVừa 32GB, chuyên code
48GBIQ2_XS (hoặc Q2_0)Kích thước lớn hơn không vừa
64GBIQ2_XS (khuyên dùng) hoặc IQ3_XXS/IQ3_STất cả kích thước vừa
96GB+IQ3_S hoặc UD-IQ4_XSDành cho kích thước lớn nhất

Mô hình đặc biệt:

  • Coder: Phiên bản chuyên code, đạt 91% điểm SWE-bench Verified của mô hình đầy đủ. Yếu hơn ở task khác (đặc biệt là tiếng Trung).
  • Swift 1.5: Fine-tune suy nghĩ ít hơn trước khi trả lời - nhận câu trả lời nhanh hơn, chất lượng tương đương.
  • Unsloth UD-IQ4_XS: Phiên bản ~4-bit của Unsloth, chất lượng giữa IQ3_S và UD-Q4_K_XL.

Tại sao chọn Strata?#

1. Riêng tư tuyệt đối#

Với Strata, không gì rời khỏi PC của bạn. Code, tài liệu, chat history - tất cả nằm cục bộ. Đặc biệt quan trọng cho:

  • Công ty yêu cầu bảo mật dữ liệu
  • Healthcare, legal, finance
  • Dự án nhạy cảm

2. Tiết kiệm chi phí#

Cloud API đắt:

  • OpenAI GPT-4: ~$30/1M tokens
  • Claude 3.5 Sonnet: ~$15/1M tokens
  • Dùng nhiều = hàng ngàn đô/tháng

Strata:

  • Chi phí: $0 (chỉ tiền điện)
  • Số lượng: không giới hạn
  • Break-even: vài tháng với volume vừa phải

3. Không phụ thuộc mạng#

Không cần internet sau khi tải mô hình. Làm việc offline, bất cứ đâu.

4. Tùy chỉnh đầy đủ#

  • Chọn kích thước mô hình
  • Điều chỉnh context length (nhớ bao nhiêu text)
  • Bật/tắt suy nghĩ (reasoning effort)
  • Đa GPU (multi-GPU layer split)
  • Batching cho nhiều request cùng lúc

Ví dụ thực tế#

Chat cục bộ#

Mở browser tại http://127.0.0.1:8080 và chat như với bất kỳ AI nào:

User: Giải thích kiến trúc Mixture-of-Experts đơn giản như cho người 10 tuổi.

Strata: Hãy tưởng tượng một trường học có 125 giáo viên.
Mỗi học sinh đến hỏi câu hỏi, chỉ 6 giáo viên giỏi nhất
về chủ đề đó được gọi ra để trả lời. Các giáo viên khác
nghỉ ngơi. Điều này giúp trường tiết kiệm năng lượng
và xử lý nhiều học sinh hơn cùng lúc.
text

Code với Claude Code#

# Cài Claude Code
# Set environment variable
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080

# Sử dụng như bình thường
claude-code "Thêm authentication cho API này"
bash

Claude Code sẽ gọi Strata cục bộ thay vì Anthropic API.

Đọc ảnh#

Nếu bật “Images?” trong setup, Strata có thể hiểu ảnh:

User: [gửi ảnh screenshot]
Mô tả UI này và viết HTML tương ứng.

Strata: Đây là một login form với email, password,
và nút "Sign In". Dưới đây là HTML:

<form>
  <input type="email" placeholder="Email" />
  <input type="password" placeholder="Password" />
  <button>Sign In</button>
</form>
text

[!NOTE]

  • AMD trên Linux: đọc ảnh qua CPU
  • AMD trên Windows: chưa hỗ trợ đọc ảnh

Hạn chế và lưu ý#

Yêu cầu phần cứng#

Strata không dành cho mọi máy:

  • GPU: Cần 12GB VRAM trở lên. Card cũ (GTX 10 series) hoạt động nhưng chậm.
  • RAM: Cần 32GB trở lên. 16GB không đủ.
  • Đĩa: Cần ~80GB SSD. HDD làm chậm khởi động lần đầu.

Tốc độ#

  • Token generation nhanh (50-100 tokens/s)
  • Prefill (đọc prompt dài) chậm hơn: ~1 phút cho 30K tokens
  • Follow-up messages nhanh hơn vì cache

Mô hình chuyên code#

Mô hình “Coder” mạnh ở code nhưng yếu ở task khác, đặc biệt là tiếng Trung và các ngôn ngữ CJK. Nếu cần đa ngôn ngữ, chọn Q2_0, IQ2_XS hoặc IQ3_S.

So sánh với các giải pháp khác#

Đặc điểmStrataOllamaLM StudioCloud API
Mô hình 125B✅❌ (thường 7-70B)❌ (thường 7-70B)✅
Cài đặt1-clickEasyEasyKhông cần
APIOpenAI/AnthropicOpenAIOpenAINative
Riêng tư✅✅✅❌
Chi phí$0$0$0$$
Multi-GPU✅❌❌N/A
Image input✅⚠️⚠️✅

Kết luận#

Strata là bước tiến lớn trong local LLM inference:

  • Mạnh: Chạy mô hình 125B (cấp server) trên phần cứng consumer
  • Nhanh: 50-100 tokens/s generation
  • Dễ: Cài đặt 1-click, API tương thích OpenAI/Anthropic
  • Rẻ: Miễn phí, không chi phí API
  • Riêng tư: Mọi thứ cục bộ

Nếu bạn có PC gaming với 12GB+ VRAM và 32GB+ RAM, Strata là cách tuyệt vời để chạy AI mạnh mẽ mà không phụ thuộc cloud.

References#