Hugging Face Ecosystem — TRL, PEFT, Transformers

📚\u05DE\u05D5\u05D3\u05D5\u05DCModule 3 - \u05DB\u05DC\u05D9\u05DD \u05D5\u05E4\u05E8\u05E7\u05D8\u05D9\u05E7\u05D4

🎓\u05E9\u05D9\u05E2\u05D5\u05E87 \u05DE\u05EA\u05D5\u05DA 14

⏲\u05DE\u05E9\u05DA~7 \u05D3\u05E7\u05D5\u05EA

📈\u05E8\u05DE\u05D4\u05D1\u05D9\u05E0\u05D5\u05E0\u05D9

🎯

\u05DE\u05D4 \u05EA\u05DC\u05DE\u05D3\u05D5 \u05D1\u05E9\u05D9\u05E2\u05D5\u05E8 \u05D4\u05D6\u05D4

TAKEAWAY 1

Hugging Face Ecosystem

Transformers + Datasets + PEFT + TRL = \u05D4\u05D0\u05E7\u05D5\u05E1\u05D9\u05E1\u05D8\u05DD \u05E9\u05DE\u05E0\u05D9\u05E2 90% \u05DE\u05D4-Fine-Tuning \u05D1\u05E2\u05D5\u05DC\u05DD

TAKEAWAY 2

TRL v0.28 \u2014 16+ Trainers

SFTTrainer, DPOTrainer, GRPOTrainer, PPOTrainer, KTOTrainer, ORPOTrainer \u05D5\u05E2\u05D5\u05D3

TAKEAWAY 3

PEFT \u2014 \u05D0\u05D9\u05DE\u05D5\u05DF \u05D9\u05E2\u05D9\u05DC

LoRA, QLoRA, DoRA, Adapters, Prefix Tuning, IA3 \u2014 \u05E4\u05D7\u05D5\u05EA \u05DE-1% \u05E4\u05E8\u05DE\u05D8\u05E8\u05D9\u05DD

TAKEAWAY 4

Cloud Fine-Tuning APIs

OpenAI (GPT-4o), Together AI, Anyscale \u2014 \u05D0\u05D9\u05DE\u05D5\u05DF \u05D1\u05DC\u05D9 GPU \u05DE\u05E9\u05DC\u05DA

❓

\u05D1\u05D3\u05E7\u05D5 \u05D0\u05EA \u05E2\u05E6\u05DE\u05DB\u05DD

\u05D0\u05D9\u05D6\u05D5 \u05E4\u05D9\u05E6\u05F3\u05E8 \u05E9\u05DC SFTTrainer \u05DE\u05D0\u05E4\u05E9\u05E8 \u05E0\u05D9\u05E6\u05D5\u05DC \u05DE\u05DC\u05D0 \u05E9\u05DC context window?

max_seq_length

packing=True

formatting_func

dataset_text_field

\u05DB\u05DE\u05D4 \u05DE\u05D5\u05D3\u05DC\u05D9\u05DD \u05D9\u05E9 \u05D1-Hugging Face Hub?

\u05D9\u05D5\u05EA\u05E8 \u05DE-100K

\u05D9\u05D5\u05EA\u05E8 \u05DE-500K

\u05D9\u05D5\u05EA\u05E8 \u05DE-800K

\u05D9\u05D5\u05EA\u05E8 \u05DE-2M

\u05DE\u05D4 \u05D4\u05E4\u05E8\u05DE\u05D8\u05E8 beta \u05E9\u05D5\u05DC\u05D8 \u05D1-DPOTrainer?

Learning Rate

Batch Size

\u05E2\u05D5\u05E6\u05DE\u05EA \u05D4\u05E1\u05D8\u05D9\u05D9\u05D4 \u05DE\u05D4-reference model

\u05DE\u05E1\u05E4\u05E8 \u05D4-epochs

\u05D0\u05D9\u05D6\u05D5 \u05E4\u05D5\u05E8\u05DE\u05D8 \u05D4\u05D5\u05D0 \u05D4\u05DE\u05D5\u05D3\u05E8\u05E0\u05D9 \u05D5\u05D4\u05D1\u05D8\u05D5\u05D7 \u05D1-Hugging Face?

pickle

safetensors

GGUF

ONNX

🔗

\u05E7\u05D9\u05E9\u05D5\u05E8\u05D9\u05DD \u05D7\u05E9\u05D5\u05D1\u05D9\u05DD

🤗

Transformers Docs

\u05D3\u05D5\u05E7\u05D5\u05DE\u05E0\u05D8\u05E6\u05D9\u05D4 \u05E9\u05DC \u05E1\u05E4\u05E8\u05D9\u05D9\u05EA Transformers

⚙

TRL Documentation

16+ Trainers \u05DC-Fine-Tuning \u05D5-Alignment

🔥

PEFT Library

LoRA, QLoRA, DoRA \u05D5\u05E2\u05D5\u05D3 \u2014 \u05D0\u05D9\u05DE\u05D5\u05DF \u05D9\u05E2\u05D9\u05DC

🚀

liortesta.com

\u05E2\u05D5\u05D3 \u05E7\u05D5\u05E8\u05E1\u05D9\u05DD, \u05DE\u05D3\u05E8\u05D9\u05DB\u05D9\u05DD \u05D5\u05EA\u05D5\u05DB\u05DF \u05DE-TESTAMIND

🚀 UP NEXT

\u05E9\u05D9\u05E2\u05D5\u05E8 8: Unsloth, Axolotl \u05D5-LLaMA-Factory

\u05D1\u05E9\u05D9\u05E2\u05D5\u05E8 \u05D4\u05D1\u05D0 \u05E0\u05DC\u05DE\u05D3 \u05E2\u05DC \u05D4\u05DB\u05DC\u05D9\u05DD \u05E9\u05DE\u05E4\u05E9\u05D8\u05D9\u05DD \u05D0\u05EA \u05D4-Fine-Tuning. Unsloth \u05E9\u05DE\u05DB\u05E4\u05D9\u05DC \u05DE\u05D4\u05D9\u05E8\u05D5\u05EA \u05E4\u05D9 2, Axolotl \u05E2\u05DD config YAML, \u05D5-LLaMA-Factory \u05E2\u05DD Web UI.

Unsloth 2x Speed

Axolotl YAML

LLaMA-Factory

Cloud Training

W&B Logging