מודלי בסיס — איך לבחור את המודל הנכון

📚\u05DE\u05D5\u05D3\u05D5\u05DCModule 1 - \u05D9\u05E1\u05D5\u05D3\u05D5\u05EA

🎓\u05E9\u05D9\u05E2\u05D5\u05E82 \u05DE\u05EA\u05D5\u05DA 14

⏲\u05DE\u05E9\u05DA~7 \u05D3\u05E7\u05D5\u05EA

📈\u05E8\u05DE\u05D4\u05D1\u05D9\u05E0\u05D5\u05E0\u05D9

🎯

\u05DE\u05D4 \u05EA\u05DC\u05DE\u05D3\u05D5 \u05D1\u05E9\u05D9\u05E2\u05D5\u05E8 \u05D4\u05D6\u05D4

TAKEAWAY 1

7 \u05DE\u05E9\u05E4\u05D7\u05D5\u05EA \u05DE\u05D5\u05D3\u05DC\u05D9\u05DD \u05E4\u05EA\u05D5\u05D7\u05D9\u05DD

LLaMA, Qwen, Gemma, Mistral, DeepSeek, Phi, SmolLM - \u05DB\u05DC \u05DE\u05D5\u05D3\u05DC \u05E2\u05DD \u05D4\u05D9\u05EA\u05E8\u05D5\u05E0\u05D5\u05EA \u05D5\u05D7\u05E1\u05E8\u05D5\u05E0\u05D5\u05EA

TAKEAWAY 2

\u05E8\u05D9\u05E9\u05D9\u05D5\u05E0\u05D5\u05EA \u05DE\u05E9\u05E0\u05D9\u05DD \u05D4\u05DB\u05DC

MIT, Apache 2.0, LLaMA Community, Google ToU - \u05D4\u05E8\u05D9\u05E9\u05D9\u05D5\u05DF \u05E7\u05D5\u05D1\u05E2 \u05DE\u05D4 \u05DE\u05D5\u05EA\u05E8 \u05DC\u05DB\u05DD

TAKEAWAY 3

MoE - Mixture of Experts

\u05D0\u05E8\u05DB\u05D9\u05D8\u05E7\u05D8\u05D5\u05E8\u05D4 \u05E9\u05E0\u05D5\u05EA\u05E0\u05EA \u05D1\u05D9\u05E6\u05D5\u05E2\u05D9\u05DD \u05E9\u05DC \u05DE\u05D5\u05D3\u05DC \u05D2\u05D3\u05D5\u05DC \u05D1\u05E2\u05DC\u05D5\u05EA \u05E0\u05DE\u05D5\u05DB\u05D4

TAKEAWAY 4

Decision Tree \u05DC\u05D1\u05D7\u05D9\u05E8\u05EA \u05DE\u05D5\u05D3\u05DC

\u05DC\u05E7\u05D5\u05D3=Qwen, \u05DC-reasoning=DeepSeek, \u05DC-general=LLaMA, \u05DC-edge=Phi

❓

\u05D1\u05D3\u05E7\u05D5 \u05D0\u05EA \u05E2\u05E6\u05DE\u05DB\u05DD

\u05D0\u05D9\u05D6\u05D4 \u05DE\u05D5\u05D3\u05DC \u05D4\u05DB\u05D9 \u05DE\u05EA\u05D0\u05D9\u05DD \u05DC\u05DE\u05E9\u05D9\u05DE\u05D5\u05EA \u05E7\u05D5\u05D3 \u05D1\u05E2\u05D5\u05DC\u05DD \u05D4\u05E4\u05EA\u05D5\u05D7?

Gemma 3

Qwen 2.5-Coder

Phi-4

SmolLM

\u05DB\u05DE\u05D4 \u05E4\u05E8\u05DE\u05D8\u05E8\u05D9\u05DD \u05E4\u05E2\u05D9\u05DC\u05D9\u05DD \u05D9\u05E9 \u05D1-LLaMA 4 Scout MoE?

109 \u05DE\u05D9\u05DC\u05D9\u05D0\u05E8\u05D3

17 \u05DE\u05D9\u05DC\u05D9\u05D0\u05E8\u05D3

70 \u05DE\u05D9\u05DC\u05D9\u05D0\u05E8\u05D3

37 \u05DE\u05D9\u05DC\u05D9\u05D0\u05E8\u05D3

\u05D0\u05D9\u05D6\u05D4 \u05E9\u05D9\u05D8\u05EA \u05D0\u05D9\u05DE\u05D5\u05DF \u05D7\u05D3\u05E9\u05D4 \u05E4\u05D9\u05EA\u05D7 DeepSeek R1?

RLHF

DPO

GRPO

PPO

\u05D0\u05D9\u05D6\u05D4 \u05DE\u05D5\u05D3\u05DC \u05D4\u05DB\u05D9 \u05DE\u05EA\u05D0\u05D9\u05DD \u05DC-edge deployment \u05D5\u05DE\u05D5\u05D1\u05D9\u05D9\u05DC?

LLaMA 4 Scout

DeepSeek V3

Phi-4

Mixtral 8x7B

🔗

\u05E7\u05D9\u05E9\u05D5\u05E8\u05D9\u05DD \u05D7\u05E9\u05D5\u05D1\u05D9\u05DD

🤗

Hugging Face Models

\u05DB\u05DC \u05D4\u05DE\u05D5\u05D3\u05DC\u05D9\u05DD \u05D4\u05E4\u05EA\u05D5\u05D7\u05D9\u05DD \u05D1\u05DE\u05E7\u05D5\u05DD \u05D0\u05D7\u05D3

🦙

LLaMA by Meta

\u05D4\u05D3\u05E3 \u05D4\u05E8\u05E9\u05DE\u05D9 \u05E9\u05DC \u05DE\u05E9\u05E4\u05D7\u05EA LLaMA

🚀

liortesta.com

\u05E2\u05D5\u05D3 \u05E7\u05D5\u05E8\u05E1\u05D9\u05DD, \u05DE\u05D3\u05E8\u05D9\u05DB\u05D9\u05DD \u05D5\u05EA\u05D5\u05DB\u05DF \u05DE-TESTAMIND

🎥

TikTok @testamind

\u05D8\u05D9\u05E4\u05D9\u05DD \u05DE\u05D4\u05D9\u05E8\u05D9\u05DD \u05E2\u05DC Fine-Tuning \u05D5-AI

🚀 UP NEXT

\u05E9\u05D9\u05E2\u05D5\u05E8 3: LoRA \u05D5-QLoRA - \u05D0\u05D9\u05DE\u05D5\u05DF \u05D7\u05DB\u05DD \u05D1\u05EA\u05E7\u05E6\u05D9\u05D1 \u05E7\u05D8\u05DF

\u05D1\u05E9\u05D9\u05E2\u05D5\u05E8 \u05D4\u05D1\u05D0 \u05E0\u05E6\u05DC\u05D5\u05DC \u05DC\u05E2\u05D5\u05DC\u05DD \u05E9\u05DC Low-Rank Adaptation. \u05D0\u05D9\u05DA LoRA \u05E2\u05D5\u05D1\u05D3, \u05DE\u05D4 \u05D6\u05D4 QLoRA \u05E2\u05DD NF4 quantization, \u05D5\u05D0\u05D9\u05DA \u05D7\u05D5\u05E1\u05DB\u05D9\u05DD 70% \u05D1\u05D6\u05D9\u05DB\u05E8\u05D5\u05DF.

LoRA

QLoRA

NF4

Low-Rank Adaptation

PEFT