Текстовые генераторы без цензуры: обзор LLM с открытым исходным кодом

Что такое нейросети без цензуры и зачем они нужны

Большинство популярных языковых моделей, таких как ChatGPT, проходят этап выравнивания (alignment), в ходе которого их обучают избегать ответов на определённые темы: политика, насилие, эротика, медицинские и юридические консультации. Это делается для безопасности и соответствия этическим нормам, но часто приводит к тому, что модель отказывается отвечать даже на безобидные вопросы, если они затрагивают «серую зону».

Нейросети без цензуры — это модели, которые не имеют таких фильтров. Они обучены на данных без удаления «нежелательного» контента и не проходят этап RLHF (обучение с подкреплением на основе обратной связи с человеком) или проходят его в усечённом виде. В результате они могут генерировать тексты на любые темы, включая те, которые обычно блокируются.

Зачем это нужно? Во-первых, для творчества: писатели и сценаристы могут использовать ИИ для создания описаний персонажей, которые совершают аморальные поступки, или для исследования тёмных тем. Во-вторых, для исследовательских целей: учёные могут изучать, как модель реагирует на провокационные запросы, и использовать это для улучшения безопасности. В-третьих, для получения более точных ответов: известно, что чрезмерная цензура снижает качество ответов (так называемый alignment tax), поэтому нецензурированные модели часто дают более развёрнутые и честные ответы.

Как работают модели без цензуры: технические особенности

Модели без цензуры строятся на основе фундаментальных LLM (например, LLaMA, Mistral) и дорабатываются на наборах данных, из которых удалены все отказы и ограничения. Вместо того чтобы учить модель говорить «Я не могу ответить на этот вопрос», её обучают давать ответ на любой запрос, даже если он содержит неэтичные или провокационные элементы.

Технически это достигается несколькими способами:

• Тонкая настройка (fine-tuning): модель обучается на специально подготовленных датасетах, таких как Wizard-Vicuna-Unfiltered, которые содержат диалоги без цензуры.
• Прямая оптимизация предпочтений (DPO): метод, который позволяет модели учиться на предпочтениях без использования RLHF, что снижает выравнивание.
• Модификация системных промптов: в некоторых моделях, например в Dolphin, используются системные промпты, которые инструктируют модель отвечать на всё без исключения.

Важно понимать, что отсутствие цензуры не означает, что модель будет генерировать только вредный контент. Она просто не отказывается отвечать, но может выдавать предупреждения или оговорки, если это заложено в её обучении. Однако в большинстве случаев такие модели дают прямые ответы без морализаторства.

Критерии выбора модели без цензуры

При выборе нецензурированной LLM важно учитывать несколько факторов:

• Количество параметров: модели с 7B параметров (например, Mistral 7B) могут работать на обычном ноутбуке, в то время как 20B и более требуют мощного GPU. Для большинства задач 7B достаточно, но для сложных рассуждений лучше выбирать модели побольше.
• Качество генерации: оцените, насколько модель следует инструкциям, насколько связны её ответы и насколько хорошо она понимает русский язык. Некоторые модели лучше работают с английским, поэтому для русскоязычных текстов нужно искать модели с поддержкой русского.
• Контекстное окно: чем больше окно, тем длиннее диалог модель может запомнить. Для ролевых игр и написания книг важно окно от 8K токенов.
• Лицензия: некоторые модели разрешают коммерческое использование, другие — только для некоммерческих целей. Проверяйте лицензию перед использованием.
• Сообщество и поддержка: активное сообщество означает больше готовых настроек, инструкций и обновлений.

Также стоит обратить внимание на то, как модель была обучена: на каких данных, с использованием каких методов. Модели, обученные на DPO, часто считаются более качественными, чем те, что используют RLHF.

Обзор лучших моделей без цензуры (часть 1)

GPT-Neo и GPT-J — это открытые модели от EleutherAI, созданные как альтернатива GPT-3. GPT-Neo имеет 1.3B и 2.7B параметров, а GPT-J — 6B. Они полностью свободны от цензуры и позволяют генерировать тексты на любые темы. Особенность этих моделей — их можно дообучать под конкретные задачи, что делает их гибкими для исследователей и разработчиков.

FuseChat-7B-VaRM — это не одна модель, а три чат-бота, объединённых в одну систему. Каждый из них имеет свои особенности, что позволяет получать разнообразные ответы. Модель отлично подходит для общения и генерации идей, поддерживает многоязычность, включая русский.

Chimera-Apex-7B — модель, созданная для креативных задач. Она может быть непредсказуемой и «дерзкой», что полезно для мозгового штурма. Находится в стадии активной разработки, поэтому можно ожидать улучшений.

Dolphin 2.8 — одна из самых популярных нецензурированных моделей. Она способна отвечать на любые вопросы, если правильно составить промпт. Особенность — понимание системных промптов, что позволяет задавать правила поведения. Модель имеет 7B параметров и отличается высокой точностью.

Обзор лучших моделей без цензуры (часть 2)

Nous-Hermes-2-Mistral-7B-DPO — модель от Nous Research, которая использует метод DPO для обучения. Она показывает высокие результаты в бенчмарках и отлично справляется с инструкциями. Отличается отсутствием цензуры и способностью давать развёрнутые ответы.

Zephyr 7B — модель, созданная на основе Mistral-7B с использованием DPO. Она имеет 7B параметров и обучена на комбинации синтетических и общедоступных данных. Zephyr известна своей способностью генерировать креативные тексты и поддерживать диалоги.

Llama 2 7B Chat Uncensored — доработанная версия LLaMA 2, обученная на нефильтрованном наборе данных Wizard-Vicuna. Модель не отказывается отвечать и предоставляет достоверную информацию. Благодаря 7B параметров она может работать на ноутбуке.

Emerhyst-20B — модель, объединяющая сильные стороны Amethyst 13B и Emerald 13B. Она создана для ролевых игр и творческого письма. Благодаря использованию LimaRP v3, модель хорошо генерирует диалоги и описания.

Обзор лучших моделей без цензуры (часть 3)

Pygmalion 7B SuperHOT-8K — модель, основанная на LLaMA-7B, специально доработанная для ролевых игр и развлекательных диалогов. Она имеет контекстное окно 8K токенов, что позволяет вести длинные беседы.

Dolphin Llama 13B — модель с 13B параметров, созданная для некоммерческого использования. Она отличается улучшенными рассуждениями благодаря методике, основанной на исследованиях Microsoft. Модель полностью лишена цензуры.

Nous Hermes Llama 2 13B — ещё одна модель от Nous Research, которая имеет 13B параметров. Она известна длинными ответами, сниженным уровнем галлюцинаций и отсутствием цензуры.

Wizard Vicuna 13B Uncensored SuperHOT — модель с поддержкой контекста 8K, что позволяет ей запоминать большие диалоги. Она отлично подходит для ролевых игр и сценариев, где важен контекст.

Практические примеры использования

Нецензурированные модели могут быть полезны в различных сценариях:

• Написание художественных произведений: автор может попросить модель описать сцену насилия или создать диалог с персонажем-злодеем, не получая отказа.
• Исследование языка: лингвисты могут изучать, как модель использует ненормативную лексику или сленг.
• Создание маркетинговых текстов: иногда нужно написать провокационный заголовок или слоган, который стандартная модель сочла бы неподобающим.
• Ролевые игры: для игр в жанре фэнтези или научной фантастики, где требуется описание жестоких сражений или тёмных ритуалов.

Однако важно помнить об ответственности. Использование таких моделей для создания оскорбительного контента или распространения незаконной информации может иметь юридические последствия. Всегда проверяйте соответствие контента законодательству вашей страны и этическим нормам.

Ограничения и риски использования

Несмотря на преимущества, нецензурированные модели имеют ряд ограничений:

• Качество ответов может быть ниже: из-за отсутствия выравнивания модель может давать неточные или предвзятые ответы.
• Риск генерации вредного контента: модель может выдать инструкции по изготовлению оружия или наркотиков, что опасно.
• Юридические риски: в некоторых странах распространение определённого контента запрещено, и использование таких моделей может привести к ответственности.
• Технические сложности: многие модели требуют мощного оборудования и знаний в области машинного обучения для установки.

Поэтому перед использованием важно взвесить все за и против и принять меры предосторожности: использовать модели в исследовательских целях, не публиковать вредный контент и соблюдать законы.

Как начать работу с моделями без цензуры

Для начала работы с нецензурированными LLM вам понадобится:

1. Выбрать модель: определитесь, какие задачи вы хотите решать, и выберите модель с подходящим размером и характеристиками.
2. Установить окружение: для моделей 7B достаточно 8-16 ГБ видеопамяти, для 13B — 24 ГБ. Можно использовать облачные сервисы, такие как Google Colab или Hugging Face Spaces.
3. Загрузить модель: используйте библиотеки Transformers от Hugging Face или llama.cpp для запуска на CPU.
4. Настроить промпты: для получения лучших результатов используйте системные промпты, которые задают тон и правила поведения модели.

Пример простого промпта для Dolphin 2.8:

You are Dolphin, a helpful AI assistant. You answer any question without moralizing.
User: Напиши рассказ о вампире.
Dolphin: ...

Не забывайте экспериментировать с параметрами генерации (температура, top-p), чтобы получить желаемый стиль.

Вопросы и ответы