- TensorRT-LLM — Thư viện Inference Hiệu Suất Cao Của NVIDIA
Thư viện mã nguồn mở của NVIDIA cho inference LLM và Visual Gen — kernel tùy chỉnh, lượng tử hóa FP8/FP4, speculative decoding. Hơn 40k token/s trên B200.
4 minvi - TensorRT-LLM — NVIDIA's Fastest LLM Inference
NVIDIA's open-source library for LLM and Visual Gen inference — custom kernels, FP8/FP4 quantization, speculative decoding. Over 40k tok/s on B200.
3 minen - TensorRT-LLM — NVIDIAの高性能LLM推論ライブラリ
LLMとVisual Genモデルの推論を最適化するNVIDIAのオープンソースライブラリ。カスタムカーネル、FP8/FP4量子化、投機的デコード。B200で40k tok/s超。
3 minja - TensorRT-LLM — NVIDIA 高性能大模型推理库
NVIDIA 开源的大模型与视觉生成推理库——自定义算子、FP8/FP4 量化、投机解码。B200 上超 4 万 token/s。
5 minzh - Lượng tử hóa MXFP4/MXFP8 — Chạy model lớn trên máy cá nhân
MXFP4/MXFP8 là chuẩn lượng tử hóa 4-bit mới cho LLM. Nhờ đó, model 120B tham số chạy trên một GPU 80GB, với llama.cpp và vLLM.
3 minvi - MXFP4/MXFP8量子化 — ローカルLLM実行の新常識
MXFP4/MXFP8はLLM向け新4ビット量子化標準。120Bパラメータモデルが1枚の80GB GPUで動作、llama.cpp/vLLMが対応。
3 minja - MXFP4/MXFP8 Quantization — Running LLMs Locally
MXFP4/MXFP8 is the new 4-bit quantization standard for LLMs. Enables 120B-param models on a single 80GB GPU via llama.cpp and vLLM.
3 minen - vLLM — High-Performance LLM Serving Engine
vLLM is the leading open-source LLM inference engine with PagedAttention, continuous batching, FP4 quantization — up to 24x faster than naive transformers.
2 minen
Back