blog.dopana

Back

TurboFieldfare は、Apple Silicon Macにおいて、わずか 約2GBのRAM で Gemma 4 26B-A4B(260億パラメータ)を動かす画期的な推論エンジンです。

本シリーズでは、アーキテクチャの理論から実用的なセットアップ、詳細な性能検証までを全3回にわたって解説しています。

シリーズ記事一覧#

1. TurboFieldfare (第1部): 2GB RAMで26B LLMを実行#

  • ローカルLLM実行時のメモリ制限と課題。
  • Gemma 4 26B-A4B の Mixture-of-Experts (MoE) 構造の解説。
  • Shared Core (~1.35GB) と KV Cache をメモリに保持し、エキスパートをSSDからオンデマンドでストリーミングする仕組み。

2. TurboFieldfare (第2部): SwiftとMetalによるランタイム最適化#

  • Swift 6.2 と Metal Compute Shader で構築されたカスタムエンジンの内部構造。
  • 使用頻度の高いエキスパートを保持する LFU (Least Frequently Used) キャッシュ。
  • SSDの読み込み遅延を極限まで削減する Chunked Prefill と量子化技術。

3. TurboFieldfare (第3部): CLI, Mac App と OpenAI サーバー#

  • macOS 26+ 環境でのビルド手順と必要なハードウェア要件。
  • CLIモード、SwiftUIネイティブアプリ、およびOpenAI互換APIサーバーの活用方法。
  • M2 Air と M5 Pro チップでのベンチマーク数値比較。

[!TIP] ソースコードおよび100以上の実験記録は、公式GitHubリポジトリで確認できます: drumih/turbo-fieldfare

参考文献#

  • 公式リポジトリ: drumih/turbo-fieldfare
  • MoE アーキテクチャおよび Apple Silicon ストリーミング技術解説.