Marin: Framework Nghiên Cứu Mô Hình Nền Tảng
Framework mã nguồn mở cho nghiên cứu và phát triển mô hình nền — từ data curation đến training đến evaluation.
Xây Dựng Foundation Model Từ Đầu#
Bạn muốn train LLM từ đầu? Marin là framework nghiên cứu và phát triển mô hình nền tảng — covers toàn bộ pipeline từ data curation, tokenization, pretraining, posttraining, đến evaluation.
[!NOTE] “I am not afraid of storms, for I am learning how to sail my ship.” — Louisa May Alcott. Marin cam kết chia sẻ open development — mọi bước từ raw data đến final model đều được ghi lại.
Marin Là Gì?#
Một research program, software platform, và community:
| Thành Phần | Mô Tả |
|---|---|
| Data curation | Collection, transformation, filtering |
| Tokenization | Tokenizer training và optimization |
| Pretraining | Foundation model training |
| Posttraining | Fine-tuning, RLHF |
| Evaluation | Benchmark và assessment |
Delphi — Scaling Suite#
Delphi là open scaling suite của Marin:
- Scaling recipe — Map compute budgets to model configurations
- Checkpoints — Available on Hugging Face
- Scaling law — Predict big models from small ones
3e18 → 1e23 FLOPsExample#
from marin.execution.step_runner import StepRunner
from marin.experiment.train import train_lm
nano_tinystories_model = train_lm(
name="checkpoints/marin-nano-tinystories",
model=llama_nano,
datasets={tinystories_tokenized: 1.0},
batch_size=4,
seq_len=2048,
num_train_steps=100,
)
StepRunner().run([lower(nano_tinystories_model)])Kết Luận#
Marin đang mở ra khả năng xây dựng foundation model cho mọi researcher. Với open development và documentation kỹ lưỡng, đây là framework đáng để học.
🔗 Repository: github.com/marin-community/marin ↗