Оффлайн
- Регистрация
- 9 Май 2015
- Сообщения
- 1,483
- Баллы
- 155
Когда слышишь про генерацию, первыми в голову приходят картинки — от сюрреалистичных шедевров до аниме‑клубнички. Но генерировать можно не только пиксели, но и слова. Сегодня мы разберемся, как запустить языковую модель локально, на собственном железе, какую из них выбрать — и для чего все это может пригодиться.
Локальная генерация текстов одновременно и проще, и сложнее, чем создание картинок. Проще потому, что локальную LLM можно запустить буквально в два клика, если знаешь, куда жать. Без установки драйверов, веселого квеста с Python-окружением и шаманства с расширятелями и улучшателями.
Но самое интересное начинается дальше, особенно если ты еще не знаешь, зачем вообще генерировать тексты. Что ты будешь с ними делать? Картинкой хотя бы можно поделиться в соцсети, а сгенерированным текстом? И еще один серьезный вопрос: какую модель выбрать, чтобы она поместилась в видеопамять и не превратила твой компьютер в грелку для кота?
Впрочем, до выбора модели надо еще дожить. Давай сначала запустим хотя бы что‑то, что будет работать и выдавать результат, а потом будем добиваться его улучшения.
Софт для локальных LLM
В самой я писал о простейшем приложении для локальной генерации — Fooocus. Его можно скачать, запустить, придумать промпт и нажать на кнопку — и вполне приличная картинка получалась без каких‑то дополнительных телодвижений. Да, по мере накопления опыта ограничения начинают напрягать, и в результате пользователь уходит на WebUI, Forge, SwarmUI или Comfy — далеко не такие дружелюбные, но очень мощные инструменты.
В мире локальных LLM есть свой «Фукус». Его роль выполняет программа — бесплатная, но без исходников. Однако, в отличие от Fooocus, в LM Studio не так чтобы много ограничений; пользователи сидят в нем годами, не испытывая насущной потребности в чем‑то помощнее. Тем не менее я перечислю основные проекты для локальной генерации текстов.
Итак, обозрев возможные варианты, остановимся на LM Studio — на нем мы и будем потом тестировать разные модели и фишки.
С установкой все просто. Для начала убедись, что у тебя на системном диске есть хотя бы 3 Гбайт свободного места: независимо от пути установки самого приложения, в папку c:\Users\<username>\.lmstudio будут автоматически скачаны необходимые для работы фреймворки.
Затем с сайта скачай установщик, запусти — и вскоре на твоем компьютере появится ярлык LM Studio.
Прежде чем приступить к выбору и скачиванию моделей, рекомендую обратить внимание на две настройки. Во‑первых, возможно, тебе имеет смысл отключить использование встроенного прокси‑сервера (он включен по умолчанию, а нужен, по сути, лишь в ситуациях, когда сайт Hugging Face с твоего компьютера напрямую недоступен; открыть настройки можно кликом на иконку в правом нижнем углу интерфейса или комбинацией клавиш Ctrl-,.
Локальная генерация текстов одновременно и проще, и сложнее, чем создание картинок. Проще потому, что локальную LLM можно запустить буквально в два клика, если знаешь, куда жать. Без установки драйверов, веселого квеста с Python-окружением и шаманства с расширятелями и улучшателями.
Но самое интересное начинается дальше, особенно если ты еще не знаешь, зачем вообще генерировать тексты. Что ты будешь с ними делать? Картинкой хотя бы можно поделиться в соцсети, а сгенерированным текстом? И еще один серьезный вопрос: какую модель выбрать, чтобы она поместилась в видеопамять и не превратила твой компьютер в грелку для кота?
Впрочем, до выбора модели надо еще дожить. Давай сначала запустим хотя бы что‑то, что будет работать и выдавать результат, а потом будем добиваться его улучшения.
Софт для локальных LLM
В самой я писал о простейшем приложении для локальной генерации — Fooocus. Его можно скачать, запустить, придумать промпт и нажать на кнопку — и вполне приличная картинка получалась без каких‑то дополнительных телодвижений. Да, по мере накопления опыта ограничения начинают напрягать, и в результате пользователь уходит на WebUI, Forge, SwarmUI или Comfy — далеко не такие дружелюбные, но очень мощные инструменты.
В мире локальных LLM есть свой «Фукус». Его роль выполняет программа — бесплатная, но без исходников. Однако, в отличие от Fooocus, в LM Studio не так чтобы много ограничений; пользователи сидят в нем годами, не испытывая насущной потребности в чем‑то помощнее. Тем не менее я перечислю основные проекты для локальной генерации текстов.
- (ты находишься здесь) — нативное кросс‑платформенное приложение с инсталлятором, не использует Python и не имеет ни внешних зависимостей, ни возможности установки расширений. Поддерживает GGUF — самый распространенный на Hugging Face формат моделей.
- — тоже мультиплатформенное приложение с установщиком — и открытым исходным кодом с регулярными обновлениями. Вероятно, его разработчики вдохновились интерфейсом LM Studio: внешне Jan максимально похож. Здесь нет некоторых приятных фишек LM Studio (например, поиска и скачивания моделей напрямую из Hugging Face), зато — полная открытость.
- — снова многоплатформенность, снова установщик, открытый исходный код... Клон LM Studio? Вовсе нет: AnythingLLM — мощный инструмент, предназначенный в первую очередь для работы. Здесь серьезная поддержка RAG (работа с документами, когда ИИ отвечает на запросы, основываясь на данных из добавленных тобой файлов, а не на собственных фантазиях) и мощная поддержка — фактически программируемых инструментов для взаимодействия модели с внешним миром. Очень мощный продукт, но для начинающих — сложноват и избыточен.
- — еще один многоплатформенный проект с установщиком. Пожалуй, даже проще в использовании, чем LM Studio, но не обладает многими полезными возможностями. Имитирует интерфейс ChatGPT, обновления бывают, но нечасто.
- — если твоя цель — текстовые квесты и ролевые игры с детально проработанными персонажами и сквозным сюжетом, то ничего лучше SillyTavern пока не придумали. Карточки персонажей и оригинальные готовые сюжеты (например, путешествие по или сценарий, в котором ты всего лишь голос в голове у , который будет с тобой спорить и делать наперекор) — в широчайшем ассортименте. Вообще говоря, ролевые игры с LLM — развлечение весьма популярное; об этом свидетельствуют более 700 тысяч карточек персонажей и сценариев на сайте . С установкой и настройкой придется повозиться: SillyTavern — всего лишь фронтенд, который работает через локальный API с другим софтом. В то же время некое подобие можно реализовать и в LM Studio — например, через системный запрос или прицепленный к чату файл.
- , или oobabooga text generation WebUI, сознательно создавался как своеобразный A1111, только для текстов. Работа через браузер, масса настроек, привычные игры с Python, окружением и зависимостями.
- — еще один вариант WebUI, с поддержкой разных движков, расширений и API. Штука мощная, но для первого раза — сложноватая.
- — хардкор, только хардкор. Ollama — классика в мире локальных LLM. Работает через терминал, предоставляет локальный API — чем, собственно, и пользуются многочисленные программы‑надстройки вроде SillyTavern или . Впрочем, есть немало любителей початиться с ИИ прямо в окне терминала.
Итак, обозрев возможные варианты, остановимся на LM Studio — на нем мы и будем потом тестировать разные модели и фишки.
С установкой все просто. Для начала убедись, что у тебя на системном диске есть хотя бы 3 Гбайт свободного места: независимо от пути установки самого приложения, в папку c:\Users\<username>\.lmstudio будут автоматически скачаны необходимые для работы фреймворки.
Затем с сайта скачай установщик, запусти — и вскоре на твоем компьютере появится ярлык LM Studio.
Прежде чем приступить к выбору и скачиванию моделей, рекомендую обратить внимание на две настройки. Во‑первых, возможно, тебе имеет смысл отключить использование встроенного прокси‑сервера (он включен по умолчанию, а нужен, по сути, лишь в ситуациях, когда сайт Hugging Face с твоего компьютера напрямую недоступен; открыть настройки можно кликом на иконку в правом нижнем углу интерфейса или комбинацией клавиш Ctrl-,.