Strata: PCで125B LLMを実行
StrataでゲームPCで1250億パラメータのAIモデルを実行 - 無料、プライベート、高速
GPT-4のような強力なAIモデルを自分のPCで実行したいと思ったことはありますか?最近まで、これは不可能でした - 1250億パラメータのモデルには高価なサーバーと専用GPUが必要でした。しかし、Strataを使えば、Qwen3.8-Flash-Nextという1250億パラメータのAIモデルを、自分のゲームPCで直接実行できるようになりました。
なぜこれが重要なのか#
想像してみてください:コードを書いていてAIのアシスタンスが必要だとします。OpenAI、Anthropic、または他のクラウドAPIにプロンプトを送るたびに、以下の問題に直面します:
- コスト: API請求書(多用すると月数千ドル)
- プライバシー: コードとデータが第三者サーバーに送信される
- レイテンシ: ネットワーク遅延、時にはサーバー過負荷
- 依存性: インターネットと外部サービスへの依存
Strataは、大型AIモデルの力を直接あなたのマシンに持ってくることで、これらすべての問題を解決します。
Strataとは#
Strataは、通常のハードウェアでQwen3.8-Flash-Next - 1250億パラメータのAIモデル - を実行できるC++推論エンジンです:
- GPU: NVIDIA GeForce RTX 20/30/40/50シリーズまたはAMD Radeon RX 7900/7800/7700シリーズ(12GB以上のVRAMが必要)
- RAM: 32GB以上(すべてのモデルサイズには64GB)
- OS: Windows 10/11またはLinux
- セットアップ: ワンクリックインストール - Docker不要、複雑な設定不要
[!TIP] Strataは無料でオープンソース(MITライセンス)です。PCから何も出力されません - すべてローカルで実行されます。
Strataの仕組み#
Strataを理解するために、ピザレストランを想像してください:
- 完全なAIモデル(125B): レストランには125人のシェフがいます。しかし、各注文には6人のシェフが働くだけで十分です(6B activated parameters) - これがMixture-of-Experts(MoE)アーキテクチャです。
- Strata: 各タスクにどのシェフを呼ぶべきかを知るスマートマネージャーのようなもの。
- 量子化: 簡略化された料理のようなもの - 完全な材料の代わりに、Strataは圧縮技術(Q2_0、IQ2_XS、IQ3_S)を使用してモデルサイズを縮小しながら品質を維持します。
Qwen3.8-Flash-Nextアーキテクチャ#
Qwen3.8-Flash-Nextは特別なアーキテクチャを使用しています:
- 125Bパラメータ合計: パラメータの総数
- トークンあたり6Bアクティベート: 生成ごとに60億パラメータのみがアクティブ(非常に効率的)
- 51B n-gram埋め込み: GPU外に保存されるn-gram埋め込みテーブル
- 48層: 48のニューラルネットワーク層
- Gated DeltaNet + MoE: DeltaNet(シーケンス処理用)とMixture-of-Experts(専門化用)を組み合わせ
これにより、モデルは強力かつ効率的になります - 以前のモデルと比較してアクティベートされたパラメータが1/3のみです。
実際の速度#
Strataは高速です - 普通のゲームPCで:
| GPU | 書き込み速度(トークン/秒) | 読み取り速度(トークン/秒) |
|---|---|---|
| RTX 5070 (12GB) - Q2_0 | 94 | 2,650 |
| RTX 5070 (12GB) - IQ3_S | 53 | 1,620 |
| RX 9070 XT (16GB) - Q2_0 | 60 | 1,160 |
[!NOTE]
- 回答を書く: 短いチャットで返信が表示される速度。60トークン/秒は読む速度より速いです。
- プロンプトを読む: 長いプロンプトを処理する速度(32Kトークン = 約24,000語)。
1トークン ≈ 3/4語。つまり60トークン/秒 ≈ 45語/秒 - 快適なチャットには十分な速度です。
インストールと使用方法#
クイックインストール#
Windows:
# Strataをダウンロードして展開
# START-HERE.batをダブルクリックbashLinux:
git clone https://github.com/Niko1221/Strata.git
cd Strata
./setup.shbashインストーラーは自動的に以下を行います:
- GPUを検出
- 適切なエンジンを選択(NVIDIAまたはAMD)
- いくつかの質問をする(モデル、サイズ、コンテキスト、画像サポート)
- モデルをダウンロード(約70GB)
http://127.0.0.1:8080でサーバーを起動
[!WARNING]
- 初回起動時:PCが1-3分間遅くなったり応答しなくなったりすることがあります - Strataが35-55GBをRAMにロードしています。これは正常です。
- ウィンドウを閉じないでください - 完了するまで待ってください。
アプリで使用#
StrataはOpenAI互換APIを公開します:
ベースURL: http://127.0.0.1:8080/v1
Claude Codeの例:
ANTHROPIC_BASE_URL=http://127.0.0.1:8080bashOpenAI APIをサポートするアプリはすべて動作します - ベースURLを変更するだけです。
どのモデルを選ぶべきか?#
インストーラーはRAMに基づいて推奨します:
| RAM | 推奨モデル | 理由 |
|---|---|---|
| 32GB | Coder | 32GBに収まる、コード専門 |
| 48GB | IQ2_XS(またはQ2_0) | 大きなサイズは収まらない |
| 64GB | IQ2_XS(推奨)またはIQ3_XXS/IQ3_S | すべてのサイズが収まる |
| 96GB+ | IQ3_SまたはUD-IQ4_XS | 最大サイズのための余裕 |
特別なモデル:
- Coder: コード専門バージョン、完全モデルのSWE-bench Verifiedスコアの91%を達成。他のタスク(特に中国語やその他のCJKテキスト)では弱い。
- Swift 1.5: 回答前に考える時間が短いファインチューン - 回答をより早く取得、品質は同程度。
- Unsloth UD-IQ4_XS: Unslothの約4ビットバージョン、品質はIQ3_SとUD-Q4_K_XLの間。
Strataを選ぶ理由#
1. 絶対的なプライバシー#
Strataでは、PCから何も出力されません。コード、ドキュメント、チャット履歴 - すべてローカルに残ります。特に重要なのは:
- データセキュリティを必要とする企業
- ヘルスケア、法務、金融
- 機密プロジェクト
2. コスト削減#
クラウドAPIは高価です:
- OpenAI GPT-4:約$30/100万トークン
- Claude 3.5 Sonnet:約$15/100万トークン
- 多用すると月数千ドル
Strata:
- コスト:$0(電気代のみ)
- ボリューム:無制限
- 回収期間:適度なボリュームで数ヶ月
3. ネットワーク独立性#
モデルをダウンロードした後、インターネットは不要です。オフラインで、どこでも作業できます。
4. 完全なカスタマイズ#
- モデルサイズを選択
- コンテキスト長を調整(どれくらいのテキストを記憶するか)
- 思考の切り替え(推論努力)
- マルチGPU(レイヤースプリット)
- 複数の同時リクエストのバッチ処理
実用的な例#
ローカルチャット#
http://127.0.0.1:8080でブラウザを開き、他のAIと同様にチャット:
User: 10歳のように単純にMixture-of-Expertsアーキテクチャを説明して。
Strata: 125人の先生がいる学校を想像してください。
生徒が質問をすると、その科目に最も精通した
6人の先生だけが呼ばれて答えます。他の先生は
休憩します。これにより、学校はエネルギーを節約し、
一度により多くの生徒を処理できます。textClaude Codeでコーディング#
# Claude Codeをインストール
# 環境変数を設定
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
# 通常通り使用
claude-code "このAPIに認証を追加"bashClaude CodeはAnthropic APIの代わりにローカルのStrataを呼び出します。
画像の読み取り#
セットアップで「画像?」を有効にすると、Strataは画像を理解できます:
User: [スクリーンショット画像を送信]
このUIを説明し、同等のHTMLを書いてください。
Strata: これはメール、パスワード、
「Sign In」ボタンがあるログインフォームです。
HTMLはこちら:
<form>
<input type="email" placeholder="Email" />
<input type="password" placeholder="Password" />
<button>Sign In</button>
</form>text[!NOTE]
- AMD on Linux:CPU経由で画像を読み取り
- AMD on Windows:画像読み取りはまだサポートされていない
制限と考慮事項#
ハードウェア要件#
Strataはすべてのマシン向けではありません:
- GPU: 12GB以上のVRAMが必要。古いカード(GTX 10シリーズ)は動作しますが遅いです。
- RAM: 32GB以上が必要。16GBは不十分です。
- ディスク: 約80GBのSSDが必要。HDDは初回起動を遅くします。
速度#
- トークン生成は高速(50-100トークン/秒)
- プリフィル(長いプロンプトの読み取り)は遅い:30Kトークンで約1分
- フォローアップメッセージはキャッシュにより高速
コード専門モデル#
「Coder」モデルはコードには強いですが、他のタスク(特に中国語やその他のCJK言語)では弱いです。多言語サポートが必要な場合は、Q2_0、IQ2_XS、またはIQ3_Sを選択してください。
他のソリューションとの比較#
| 機能 | Strata | Ollama | LM Studio | Cloud API |
|---|---|---|---|---|
| 125Bモデル | ✅ | ❌(通常7-70B) | ❌(通常7-70B) | ✅ |
| セットアップ | 1クリック | 簡単 | 簡単 | 不要 |
| API | OpenAI/Anthropic | OpenAI | OpenAI | ネイティブ |
| プライバシー | ✅ | ✅ | ✅ | ❌ |
| コスト | $0 | $0 | $0 | $$ |
| マルチGPU | ✅ | ❌ | ❌ | N/A |
| 画像入力 | ✅ | ⚠️ | ⚠️ | ✅ |
結論#
StrataはローカルLLM推論の大きな進歩です:
- 強力: コンシューマーハードウェアで125Bモデル(サーバーグレード)を実行
- 高速: 50-100トークン/秒の生成
- 簡単: 1クリックインストール、OpenAI/Anthropic互換API
- 安価: 無料、APIコストなし
- プライベート: すべてローカル
12GB以上のVRAMと32GB以上のRAMを持つゲームPCがある場合、Strataはクラウドに依存せずに強力なAIを実行する優れた方法です。