В этом уроке я показываю модель Meta Llama 3.1 8B Instruct, запущенную локально в LM Studio. Показываю, как искать и скачивать модели прямо в приложении, и проверяю, как модель понимает и отвечает на русском языке. Тестирую загрузку файлов в диалог, генерацию длинного текста по частям и пару прикладных запросов вроде составления таблицы питания. Материал будет полезен тем, кто хочет запускать языковые модели локально на своём компьютере и присматривается к вариантам для дальнейшей работы с контентом.
0:00–0:47 Представляю модель Meta Llama 3.1 8B Instruct в LM Studio — она хорошо работает на видеокартах от 8 ГБ и неплохо понимает русский язык; показываю, как искать и скачивать модели через раздел с иконкой лупы. 0:47–1:37 Задаю модели простые вопросы на русском языке и проверяю скорость и качество ответов, включая то, что она может помогать с кодингом. 1:37–2:27 Загружаю в чат текстовый файл со сказкой — LM Studio принимает до 5 файлов за раз, включая PDF, — и прошу модель пересказать содержание документа. 2:27–3:15 Прошу модель написать длинную историю на 2000 слов с выдачей по частям по команде «продолжу» — она правильно понимает и выполняет эту инструкцию. 3:15–4:02 Отмечаю, что при длинных генерациях изредка проскакивают мелкие ошибки, и показываю, как рост числа запросов увеличивает нагрузку на оперативную и видеопамять. 4:02–4:48 Открываю настройки загрузки модели для экономии памяти, начинаю новый диалог и спрашиваю модель, что она умеет. 4:48–5:39 Прошу составить таблицу КБЖУ и рецептов на каждый день недели — модель быстро выдаёт результат, сопоставимый по качеству и скорости с ChatGPT.