Neural Processing Unit (NPU) — còn gọi là AI accelerator — là vi mạch chuyên dụng để tăng tốc các tác vụ AI/ML. Từ điện thoại đến laptop đến datacenter, NPU đang trở thành thành phần không thể thiếu. Bài viết này tổng quan các NPU phổ biến nhất tính đến 2026.
Apple Neural Engine (ANE)#
ANE ra mắt từ A11 (2017, 0.6 TOPS). Qua 7 thế hệ, M4 đạt 38 TOPS (INT8). Là NPU tiêu dùng lâu đời nhất, dùng trong Face ID, camera, Siri, Live Text, và LLM trên thiết bị.
ANE là graph execution engine — không phải GPU hay CPU. Nhận đồ thị MIL đã compile, thực thi end-to-end. 16 cores, queue depth 127, DVFS độc lập.
Hạn chế: Chỉ truy cập qua CoreML. Không lập trình trực tiếp được. Inference-only — Apple không cho phép training.
Intel NPU (AI Boost)#
Intel mua Movidius (2016), tích hợp NPU vào CPU từ Meteor Lake (2023).
| Thế hệ | Vi xử lý | TOPS |
|---|---|---|
| NPU 3 | Meteor Lake | 11 |
| NPU 4 | Lunar Lake | 48 |
| NPU 4 | Arrow Lake | 13 |
| NPU 5 | Panther Lake (2025) | ~100 |
Lunar Lake là CPU x86 đầu tiên đạt ≥40 TOPS — ngưỡng Copilot+. Kiến trúc dựa trên Movidius Myriad: 2 LeonRT/LeonNN controllers, 4K MAC ở 1.4GHz.
SDK: OpenVINO, DirectML, ONNX Runtime, Windows ML. Inference-only.
AMD Ryzen AI (XDNA NPU)#
AMD mua Xilinx (2022), kiến trúc spatial dataflow từ FPGA truyền thống.
| Thế hệ | Vi xử lý | TOPS |
|---|---|---|
| XDNA 1 | Ryzen 7040 (Phoenix) | 10 |
| XDNA 1R | Ryzen 8040 (Hawk Point) | 16 |
| XDNA 2 | Ryzen AI 300 (Strix Point) | 50-55 |
Khác Intel (systolic array fixed), XDNA dùng mảng AI Engine tile có thể cấu hình lại từng phần — mỗi tile có VLIW+SIMD vector processor + RISC controller + SRAM local.
SDK: ROCm, Vitis AI, ONNX Runtime, Windows ML, PyTorch. Inference-only.
Qualcomm Hexagon NPU#
Hexagon có từ 2015 — hệ sinh thái NPU di động lâu đời và trưởng thành nhất. Snapdragon X Elite (2024) đạt 45 TOPS, là Windows-on-ARM đầu tiên đạt Copilot+ threshold.
Hexagon có tensor accelerator riêng với scalar/vector/tensor processors, HVX vector extensions, shared L2.
SDK: Qualcomm AI Engine Direct (QNN), ONNX Runtime, DirectML, TFLite. Inference-only.
Google TPU#
TPU là NPU datacenter/cloud — không phải sản phẩm tiêu dùng. Tính đến 2026, TPU v8t đạt 12,600 TOPS (FP4), TPU v8i đạt 10,100 TOPS.
| Thế hệ | Năm | TOPS | Ghi chú |
|---|---|---|---|
| TPU v1 | 2015 | 23 | Inference-only |
| TPU v4 | 2021 | 275 | Liquid-cooled |
| TPU v5p | 2023 | 918 | Training |
| TPU v6e (Trillium) | 2024 | 918 | BF16 |
| TPU v7 (Ironwood) | 2025 | 4,614 | FP8 |
| TPU v8t/v8i | 2026 | 12,600 / 10,100 | FP4 |
Kiến trúc systolic array matrix multiply. v2+ hỗ trợ bfloat16 và training. Dùng trong Gemini, Search, YouTube.
Consumer: Google Tensor SoC (Pixel phone) có Edge TPU mobile ~4 TOPS.
Samsung Exynos NPU#
NPU riêng của Samsung (không dùng ARM Ethus). Multi-core design: GNPU (general) + SNPU (sparse).
| SoC | Năm | TOPS |
|---|---|---|
| Exynos 2200 | 2022 | ~10 |
| Exynos 2400 | 2024 | ~20 |
| Exynos 2500 | 2025 | 59 (24K MAC) |
Exynos 2500 trên 3nm GAP. Samsung cũng sản xuất Google Tensor SoC.
SDK: Samsung ONE UI ML, NNAPI extension, ONNX, TFLite.
MediaTek APU#
APU trên chip Dimensity, thiết kế heterogeneous multi-core — core riêng cho INT8, FP16, INT16.
| SoC | Năm | TOPS |
|---|---|---|
| Dimensity 9300 | 2023 | ~33 |
| Dimensity 9400 | 2024 | ~50+ (10-core) |
Dimensity 9400 trên TSMC N3E. Dùng trong camera AI (tới 320MP), display AI, gaming upscaling.
SDK: NeuroPilot. Chỉ mobile/IoT, không có PC.
Bảng so sánh tổng quan#
| NPU | HW mới nhất 2025-26 | TOPS peak | Training? | SDK chính |
|---|---|---|---|---|
| Apple ANE | M4 | 38 | Không | CoreML |
| Intel NPU 4 | Lunar Lake | 48 | Không | OpenVINO, DirectML |
| AMD XDNA 2 | Ryzen AI 300 | 55 | Không | ROCm, ONNX |
| Qualcomm Hexagon | Snapdragon X Elite | 45 | Không | QNN, DirectML |
| Samsung Exynos | Exynos 2500 | 59 | Không | NNAPI |
| MediaTek APU | Dimensity 9400 | ~50 | Không | NeuroPilot |
| Google TPU v8 | Cloud | 12,600 | Có | JAX, TF, PyTorch |
Nhận xét chung#
- Tất cả NPU tiêu dùng đều inference-only. Training chỉ có trên cloud (TPU, GPU) hoặc desktop GPU.
- Ngưỡng Copilot+ (40 TOPS) đã trở thành chuẩn cho PC NPU.
- Hệ sinh thái phân mảnh — mỗi hãng SDK riêng. ONNX là format chung duy nhất.
- TOPS tăng theo luật Moore riêng: Apple ANE từ 0.6→38 TOPS (63x trong 7 năm), TPU từ 23→12,600 TOPS (548x trong 11 năm).