📚\u05DE\u05D5\u05D3\u05D5\u05DCModule 4 - \u05E4\u05E8\u05D5\u05D3\u05E7\u05E9\u05DF \u05D5\u05DE\u05EA\u05E7\u05D3\u05DD
🎓\u05E9\u05D9\u05E2\u05D5\u05E812 \u05DE\u05EA\u05D5\u05DA 14
⏲\u05DE\u05E9\u05DA~7 \u05D3\u05E7\u05D5\u05EA
📈\u05E8\u05DE\u05D4\u05DE\u05EA\u05E7\u05D3\u05DD
TAKEAWAY 1
Model Merging - TIES, DARE, SLERP
\u05DE\u05D9\u05D6\u05D5\u05D2 \u05DE\u05D5\u05D3\u05DC\u05D9\u05DD \u05DC\u05DC\u05D0 \u05D0\u05D9\u05DE\u05D5\u05DF \u05E0\u05D5\u05E1\u05E3. mergekit, FrankenMerge, Open LLM Leaderboard
TAKEAWAY 2
Distillation - Teacher \u2192 Student
GKDTrainer, MiniLLMTrainer. \u05D3\u05D7\u05D9\u05E1\u05EA \u05D9\u05D3\u05E2 \u05DE\u05DE\u05D5\u05D3\u05DC \u05E2\u05E0\u05E7 \u05DC\u05E7\u05D8\u05DF. \u05D7\u05D9\u05E1\u05DB\u05D5\u05DF 90% \u05D1-compute
TAKEAWAY 3
Vision-Language \u05D5-Agent Fine-Tuning
LLaVA, Qwen-VL, PaliGemma. Tool calling, ReAct patterns, Function calling
TAKEAWAY 4
Safety, Ethics \u05D5-Red Teaming
Llama Guard, NeMo Guardrails, OWASP ML Security, Responsible AI checklist
1
\u05DE\u05D4 \u05E2\u05D5\u05E9\u05D4 \u05E9\u05D9\u05D8\u05EA TIES \u05D1\u05DE\u05D9\u05D6\u05D5\u05D2 \u05DE\u05D5\u05D3\u05DC\u05D9\u05DD?
\u05DE\u05DE\u05E6\u05E2\u05EA \u05E4\u05E8\u05DE\u05D8\u05E8\u05D9\u05DD \u05E4\u05E9\u05D5\u05D8
Trim \u05DE\u05D9\u05D5\u05EA\u05E8\u05D9\u05DD, Elect Sign, Merge
\u05E2\u05D5\u05E9\u05D4 random drop \u05D5-rescale
Spherical interpolation \u05E9\u05DC \u05DE\u05E9\u05E7\u05D5\u05DC\u05D5\u05EA
2
\u05DB\u05DE\u05D4 compute \u05D7\u05D5\u05E1\u05DA Distillation \u05D1-inference?
3
\u05D0\u05D9\u05D6\u05D5 \u05E9\u05D9\u05D8\u05D4 \u05DE\u05D2\u05E0\u05D4 \u05E2\u05DC \u05E4\u05E8\u05DE\u05D8\u05E8\u05D9\u05DD \u05D7\u05E9\u05D5\u05D1\u05D9\u05DD \u05DC\u05DE\u05E9\u05D9\u05DE\u05D5\u05EA \u05D9\u05E9\u05E0\u05D5\u05EA \u05DB\u05D3\u05D9 \u05DC\u05DE\u05E0\u05D5\u05E2 catastrophic forgetting?
Experience Replay
Elastic Weight Consolidation (EWC)
Progressive Neural Networks
LoRA per-task
4
\u05D0\u05D9\u05D6\u05D4 \u05DB\u05DC\u05D9 \u05DE\u05E1\u05E0\u05DF \u05EA\u05D5\u05DB\u05DF \u05DE\u05E1\u05D5\u05DB\u05DF \u05D5\u05DE\u05D2\u05D3\u05D9\u05E8 \u05D2\u05D1\u05D5\u05DC\u05D5\u05EA \u05DC\u05DE\u05D5\u05D3\u05DC?
mergekit
GKDTrainer
NeMo Guardrails
MiniLLMTrainer
🚀 UP NEXT
\u05E9\u05D9\u05E2\u05D5\u05E8 13: \u05E4\u05E8\u05D5\u05D9\u05E7\u05D8 \u05DE\u05E1\u05DB\u05DD - \u05D1\u05E0\u05D9\u05D9\u05EA \u05DE\u05D5\u05D3\u05DC \u05DE\u05D5\u05EA\u05D0\u05DD \u05DE\u05E7\u05E6\u05D4 \u05DC\u05E7\u05E6\u05D4
\u05D1\u05E9\u05D9\u05E2\u05D5\u05E8 \u05D4\u05D0\u05D7\u05E8\u05D5\u05DF \u05E0\u05D1\u05E0\u05D4 \u05E4\u05E8\u05D5\u05D9\u05E7\u05D8 \u05DE\u05DC\u05D0. \u05DE\u05D1\u05D7\u05D9\u05E8\u05EA \u05DE\u05D5\u05D3\u05DC \u05D5\u05D3\u05D0\u05D8\u05D4, \u05D3\u05E8\u05DA SFT \u05D5-DPO, \u05E2\u05D3 Quantization \u05D5-Deployment.
SFT + LoRA
DPO Alignment
Quantization
vLLM Deployment
End-to-End Pipeline