Смотреть урок

Я показываю, как запустить локальную модель Gemma от Google через LM Studio и протестировать её возможности. Разбираю, какой размер модели выбирать в зависимости от видеокарты: для слабых карт подходят версии на 2–4 миллиарда параметров, а версию на 26 миллиардов без мощного железа качать не стоит. Проверяю, как модель понимает русский язык, генерирует текст на заданную тему и анализирует загруженное фото с описанием сюжета. Отдельно смотрю на её знания (примерно до января 2025 года) и на то, что она не умеет создавать изображения — для этого нужна другая нейросеть. Материал будет полезен тем, кто хочет попробовать локальные LLM бесплатно, без покупки API-ключей.

Оглавление с таймкодами:

0:00–0:46 Автор показывает, как найти и скачать модель Gemma от Google в LM Studio, и предупреждает не качать версию на 26 млрд параметров — выбор зависит от объёма видеопамяти (4 млрд параметров для 8 ГБ, 2 млрд для 6 ГБ и меньше).
0:46–2:04 Запускает новый чат, показывает настройки (использование процессора, памяти, температура ответа) и проверяет, как модель отвечает по-русски; отмечает, что Gemma не умеет генерировать изображения и обладает знаниями примерно до января 2025 года.
2:04–2:59 Просит модель написать короткую страшную историю про спуск в пещеру и оценивает скорость ответа; упоминает, что локальную модель можно подключить к n8n через API вместо платного ключа.
2:59–3:58 Сравнивает работу с локальной моделью с покупкой API-ключа DeepSeek (дешевле, около 10 долларов надолго) и загружает фотографию через функцию attach image с вопросом «что ты видишь».
3:58–4:49 Модель подробно описывает загруженное фото — нишу, целевую аудиторию, позу и выражение лица персонажа, текст заголовка и визуальные метафоры — с одной небольшой ошибкой в тексте.
4:49–5:04 Автор отмечает, что подобные локальные нейросети быстро прогрессируют, слегка цензурированы (не дадут код взлома) и советует попробовать установить модель даже на слабых видеокартах.

Топ-инсайты:

Модель Gemma от Google доступна в LM Studio в нескольких размерах — от 2 до 26 миллиардов параметров, и выбор версии определяется объёмом видеопамяти: 4 млрд параметров комфортно работает на видеокарте с 8 ГБ, а на 6 ГБ и меньше лучше скачивать версию на 2 млрд.

LM Studio — это оболочка для запуска локальных моделей на ПК, и сама по себе она не умеет генерировать изображения, для этого нужна отдельная нейросеть.

Знания модели ограничены примерно январём 2025 года, что автор называет более свежим показателем, чем у DeepSeek, который работает по данным…