Гайд по установке LM Studio или ваше первое знакомство с локальным ИИ

Искусственный интеллект с каждым годом становится всё умнее — он способен помогать нам в повседневных задачах, решать вопросы и даже выступать в роли «ИИ-агента», который сам шерстит Интернет в поисках ответа. К сожалению, на его работу уходит много вычислительных мощностей, поэтому зарубежные и отечественные компании выставляют лимиты на ежедневное использование и просят оформить подписку. Это касается как популярного ChatGPT, так и отечественной «Алисы».

Тем не менее, многие IT-компании не настолько жадные, чтобы заставлять всех своих пользователей платить за использование своего ИИ. Если у вашего компьютера или ноутбука хватает мощностей, вы можете запустить упрощённую версию ИИ локально. Без подписок и скрытых платежей. Но именно на этом моменте многие пользователи останавливаются — они боятся, что что-то пойдёт не так во время установки или они неправильно настроят ИИ. Я прошёл через 7 кругов Ада на этих выходных, чтобы написать для вас гайд по самому простому входу в тему «локального искусственного интеллекта».

Первым делом нужно скачать программу LM Studio. Она выступает в роли удобного хаба и интерфейса для удобного общения с ИИ. Благодаря этой ПО вам не нужно использовать командную строку, устанавливать Git и заниматься вещами, которые скорее свойственны программистам и сисадминам, а не обычному человеку.

В LM Studio есть поисковик, с помощью которого вы вбиваете название ИИ-модели, получая список для загрузки с сайта Hugging Face. Переходить на него не нужно, всё делается внутри программы. Для своей системы с 8 ГБ VRAM и 16 ГБ ОЗУ я скачал YandexGPT-5-Lite-8B-instruct-GGUF. Как заявляет сам «Яндекс», это первая открытая российская ИИ-модель с 2022 года. Помимо русского языка, эта ИИ-модель понимает английский. Чтобы не вдаваться в технические детали, скажу следующее — данная модель подходит для относительно слабых ПК, как мой, так как для полноценной версии YandexGPT-5 Lite требуется до 16 ГБ памяти в вашей видеокарте. Весит модель чуть меньше 5 ГБ, что очень удобно.

На самом деле, большую часть работу мы уже проделали. Осталось дело за малым — загрузить модель. Делается это в разделе «Чаты» через поиск вверху экрана.

Теперь можно писать в чат и общаться с ИИ-моделью. К сожалению, её возможности ограничены: например, она не может самостоятельно выходить в Интернет и искать актуальную информацию. Также, если ей давать слишком длинные и расплывчатые задания, она начинает сильно галлюцинировать — писать одно и то же в разных абзацах.

Вы можете донастроить ИИ-модель, нажав на иконку гаечного ключа. Настройки нужно подбирать под свои задачи, потому что искусственный интеллект может начать писать полный бред или, наоборот, писать очень сухо.

Напишите в комментариях, если хотите узнать, как создать локального и оффлайн ИИ-агента, который запоминает ваши предпочтения и сохраняет историю чата для контекста.