blog.dopana

戻る

GPT-4のような強力なAIモデルを自分のPCで実行したいと思ったことはありますか?最近まで、これは不可能でした - 1250億パラメータのモデルには高価なサーバーと専用GPUが必要でした。しかし、Strataを使えば、Qwen3.8-Flash-Nextという1250億パラメータのAIモデルを、自分のゲームPCで直接実行できるようになりました。

なぜこれが重要なのか#

想像してみてください:コードを書いていてAIのアシスタンスが必要だとします。OpenAI、Anthropic、または他のクラウドAPIにプロンプトを送るたびに、以下の問題に直面します:

  • コスト: API請求書(多用すると月数千ドル)
  • プライバシー: コードとデータが第三者サーバーに送信される
  • レイテンシ: ネットワーク遅延、時にはサーバー過負荷
  • 依存性: インターネットと外部サービスへの依存

Strataは、大型AIモデルの力を直接あなたのマシンに持ってくることで、これらすべての問題を解決します。

Strataとは#

Strataは、通常のハードウェアでQwen3.8-Flash-Next - 1250億パラメータのAIモデル - を実行できるC++推論エンジンです:

  • GPU: NVIDIA GeForce RTX 20/30/40/50シリーズまたはAMD Radeon RX 7900/7800/7700シリーズ(12GB以上のVRAMが必要)
  • RAM: 32GB以上(すべてのモデルサイズには64GB)
  • OS: Windows 10/11またはLinux
  • セットアップ: ワンクリックインストール - Docker不要、複雑な設定不要

[!TIP] Strataは無料でオープンソース(MITライセンス)です。PCから何も出力されません - すべてローカルで実行されます。

Strataの仕組み#

Strataを理解するために、ピザレストランを想像してください:

  • 完全なAIモデル(125B): レストランには125人のシェフがいます。しかし、各注文には6人のシェフが働くだけで十分です(6B activated parameters) - これがMixture-of-Experts(MoE)アーキテクチャです。
  • Strata: 各タスクにどのシェフを呼ぶべきかを知るスマートマネージャーのようなもの。
  • 量子化: 簡略化された料理のようなもの - 完全な材料の代わりに、Strataは圧縮技術(Q2_0、IQ2_XS、IQ3_S)を使用してモデルサイズを縮小しながら品質を維持します。
6B activatedユーザーからのプロンプトStrataエンジンエキスパートを選択Qwen3.8-Flash-Next 125BGPU処理レスポンス

Qwen3.8-Flash-Nextアーキテクチャ#

Qwen3.8-Flash-Nextは特別なアーキテクチャを使用しています:

  • 125Bパラメータ合計: パラメータの総数
  • トークンあたり6Bアクティベート: 生成ごとに60億パラメータのみがアクティブ(非常に効率的)
  • 51B n-gram埋め込み: GPU外に保存されるn-gram埋め込みテーブル
  • 48層: 48のニューラルネットワーク層
  • Gated DeltaNet + MoE: DeltaNet(シーケンス処理用)とMixture-of-Experts(専門化用)を組み合わせ

これにより、モデルは強力かつ効率的になります - 以前のモデルと比較してアクティベートされたパラメータが1/3のみです。

実際の速度#

Strataは高速です - 普通のゲームPCで:

GPU書き込み速度(トークン/秒)読み取り速度(トークン/秒)
RTX 5070 (12GB) - Q2_0942,650
RTX 5070 (12GB) - IQ3_S531,620
RX 9070 XT (16GB) - Q2_0601,160

[!NOTE]

  • 回答を書く: 短いチャットで返信が表示される速度。60トークン/秒は読む速度より速いです。
  • プロンプトを読む: 長いプロンプトを処理する速度(32Kトークン = 約24,000語)。

1トークン ≈ 3/4語。つまり60トークン/秒 ≈ 45語/秒 - 快適なチャットには十分な速度です。

インストールと使用方法#

クイックインストール#

Windows:

# Strataをダウンロードして展開
# START-HERE.batをダブルクリック
bash

Linux:

git clone https://github.com/Niko1221/Strata.git
cd Strata
./setup.sh
bash

インストーラーは自動的に以下を行います:

  1. GPUを検出
  2. 適切なエンジンを選択(NVIDIAまたはAMD)
  3. いくつかの質問をする(モデル、サイズ、コンテキスト、画像サポート)
  4. モデルをダウンロード(約70GB)
  5. http://127.0.0.1:8080でサーバーを起動

[!WARNING]

  • 初回起動時:PCが1-3分間遅くなったり応答しなくなったりすることがあります - Strataが35-55GBをRAMにロードしています。これは正常です。
  • ウィンドウを閉じないでください - 完了するまで待ってください。

アプリで使用#

StrataはOpenAI互換APIを公開します:

ベースURL: http://127.0.0.1:8080/v1

Claude Codeの例:

ANTHROPIC_BASE_URL=http://127.0.0.1:8080
bash

OpenAI APIをサポートするアプリはすべて動作します - ベースURLを変更するだけです。

どのモデルを選ぶべきか?#

インストーラーはRAMに基づいて推奨します:

RAM推奨モデル理由
32GBCoder32GBに収まる、コード専門
48GBIQ2_XS(またはQ2_0)大きなサイズは収まらない
64GBIQ2_XS(推奨)またはIQ3_XXS/IQ3_Sすべてのサイズが収まる
96GB+IQ3_SまたはUD-IQ4_XS最大サイズのための余裕

特別なモデル:

  • Coder: コード専門バージョン、完全モデルのSWE-bench Verifiedスコアの91%を達成。他のタスク(特に中国語やその他のCJKテキスト)では弱い。
  • Swift 1.5: 回答前に考える時間が短いファインチューン - 回答をより早く取得、品質は同程度。
  • Unsloth UD-IQ4_XS: Unslothの約4ビットバージョン、品質はIQ3_SとUD-Q4_K_XLの間。

Strataを選ぶ理由#

1. 絶対的なプライバシー#

Strataでは、PCから何も出力されません。コード、ドキュメント、チャット履歴 - すべてローカルに残ります。特に重要なのは:

  • データセキュリティを必要とする企業
  • ヘルスケア、法務、金融
  • 機密プロジェクト

2. コスト削減#

クラウドAPIは高価です:

  • OpenAI GPT-4:約$30/100万トークン
  • Claude 3.5 Sonnet:約$15/100万トークン
  • 多用すると月数千ドル

Strata:

  • コスト:$0(電気代のみ)
  • ボリューム:無制限
  • 回収期間:適度なボリュームで数ヶ月

3. ネットワーク独立性#

モデルをダウンロードした後、インターネットは不要です。オフラインで、どこでも作業できます。

4. 完全なカスタマイズ#

  • モデルサイズを選択
  • コンテキスト長を調整(どれくらいのテキストを記憶するか)
  • 思考の切り替え(推論努力)
  • マルチGPU(レイヤースプリット)
  • 複数の同時リクエストのバッチ処理

実用的な例#

ローカルチャット#

http://127.0.0.1:8080でブラウザを開き、他のAIと同様にチャット:

User: 10歳のように単純にMixture-of-Expertsアーキテクチャを説明して。

Strata: 125人の先生がいる学校を想像してください。
生徒が質問をすると、その科目に最も精通した
6人の先生だけが呼ばれて答えます。他の先生は
休憩します。これにより、学校はエネルギーを節約し、
一度により多くの生徒を処理できます。
text

Claude Codeでコーディング#

# Claude Codeをインストール
# 環境変数を設定
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080

# 通常通り使用
claude-code "このAPIに認証を追加"
bash

Claude CodeはAnthropic APIの代わりにローカルのStrataを呼び出します。

画像の読み取り#

セットアップで「画像?」を有効にすると、Strataは画像を理解できます:

User: [スクリーンショット画像を送信]
このUIを説明し、同等のHTMLを書いてください。

Strata: これはメール、パスワード、
「Sign In」ボタンがあるログインフォームです。
HTMLはこちら:

<form>
  <input type="email" placeholder="Email" />
  <input type="password" placeholder="Password" />
  <button>Sign In</button>
</form>
text

[!NOTE]

  • AMD on Linux:CPU経由で画像を読み取り
  • AMD on Windows:画像読み取りはまだサポートされていない

制限と考慮事項#

ハードウェア要件#

Strataはすべてのマシン向けではありません:

  • GPU: 12GB以上のVRAMが必要。古いカード(GTX 10シリーズ)は動作しますが遅いです。
  • RAM: 32GB以上が必要。16GBは不十分です。
  • ディスク: 約80GBのSSDが必要。HDDは初回起動を遅くします。

速度#

  • トークン生成は高速(50-100トークン/秒)
  • プリフィル(長いプロンプトの読み取り)は遅い:30Kトークンで約1分
  • フォローアップメッセージはキャッシュにより高速

コード専門モデル#

「Coder」モデルはコードには強いですが、他のタスク(特に中国語やその他のCJK言語)では弱いです。多言語サポートが必要な場合は、Q2_0、IQ2_XS、またはIQ3_Sを選択してください。

他のソリューションとの比較#

機能StrataOllamaLM StudioCloud API
125Bモデル✅❌(通常7-70B)❌(通常7-70B)✅
セットアップ1クリック簡単簡単不要
APIOpenAI/AnthropicOpenAIOpenAIネイティブ
プライバシー✅✅✅❌
コスト$0$0$0$$
マルチGPU✅❌❌N/A
画像入力✅⚠️⚠️✅

結論#

StrataはローカルLLM推論の大きな進歩です:

  • 強力: コンシューマーハードウェアで125Bモデル(サーバーグレード)を実行
  • 高速: 50-100トークン/秒の生成
  • 簡単: 1クリックインストール、OpenAI/Anthropic互換API
  • 安価: 無料、APIコストなし
  • プライベート: すべてローカル

12GB以上のVRAMと32GB以上のRAMを持つゲームPCがある場合、Strataはクラウドに依存せずに強力なAIを実行する優れた方法です。

参考文献#