LLM (Large Language Model) — это нейросеть, обученная на огромных объёмах текста. По сути, это гигантская математическая функция, которая принимает текст на вход и предсказывает, какой текст должен идти дальше. Именно так работают ChatGPT, Claude, Gemini и все модели, о которых пойдёт речь.
Параметры — это числовые "веса" внутри нейросети. Их можно представить как настройки эквалайзера, только вместо 10 ползунков их миллиарды. Во время обучения модель подстраивает эти веса, чтобы лучше предсказывать текст. Чем больше параметров — тем больше "знаний" модель может вместить, но тем больше памяти ей нужно для работы.
Обозначения размеров, которые встречаются в названиях моделей:
| Обозначение |
Число параметров |
Пример модели |
Нужно памяти (грубо) |
| 1.5B |
1.5 миллиарда |
DeepSeek R1 1.5B |
~1–2 GB |
| 7B |
7 миллиардов |
Qwen2.5-Coder 7B |
~4–5 GB |
| 8B |
8 миллиардов |
Llama 3.1 8B |
~5–6 GB |
| 14B |
14 миллиардов |
Qwen2.5-Coder 14B |
~8–10 GB |
| 32B |
32 миллиарда |
Qwen2.5-Coder 32B |
~20–24 GB |
| 70B |
70 миллиардов |
Llama 3.3 70B |
~40–48 GB |
| 671B |
671 миллиард |
DeepSeek R1 (полная) |
~350+ GB |
| 1T |
1 триллион |
Kimi K2.5 |
~240–630 GB |
Объём памяти указан для квантизированных (сжатых) версий в формате Q4. В полном FP16-формате нужно примерно в 2–3 раза больше.
Квантизация — это сжатие модели. Вместо того чтобы хранить каждый параметр как 16-битное число (FP16), его сжимают до 4 бит (Q4) или даже 2 бит (Q2). Качество немного падает, но модель занимает в 3–4 раза меньше места. Это то, что делает возможным запуск больших моделей на обычном компьютере.
LLaMA (Large Language Model Meta AI) — это семейство открытых моделей от компании Meta (бывший Facebook). LLaMA стала переломным моментом в мире ИИ: до неё мощные языковые модели были только у крупных компаний (OpenAI, Google), а Meta выложила веса своих моделей в открытый доступ.
Почему LLaMA важна:
- Она задала стандарт архитектуры, на основе которого построены многие другие модели (Qwen, Mistral, DeepSeek и другие используют похожие решения)
- Формат GGUF, в котором распространяются модели для локального запуска, изначально создавался…