Телеграм-бот художественной обработки портретов на нейросетях

Художественная обработка портрета — это ручная работа в графическом редакторе. Вырезать лицо, вычистить дефекты старого или неудачного снимка, перевести в монохром, вытянуть линии и контраст, добавить фон и мягкое свечение по контуру — и всё это на каждой фотографии заново.

Что болит:

• Каждый заказ упирается в занятость конкретного ретушёра
• Результат зависит от исполнителя — стиль плывёт от кадра к кадру
• Исходники приходят разного качества: телефонные снимки, сканы, старые фото
• Заказчику нужно показать варианты, а сделать несколько версий вручную дорого

Задача: повторить нейросетью ручной стиль обработки и отдать его пользователю в самом простом интерфейсе — Telegram: прислал фото, выбрал режим, получил готовые варианты. При этом человек на портрете должен остаться узнаваемым — это главное требование и главная техническая сложность.

За простым диалогом — пайплайн из семи шагов, где каждый шаг решает свою узкую задачу. Одной генерацией такой результат не получается: нейросеть без подготовки кадра «уплывает» с лица и теряет сходство.

Как устроен пайплайн:

1. Поиск и кроп лица — YOLOv8 находит человека в кадре, SAM отделяет его от фона, снимок приводится к квадрату 1024 px.
2. Восстановление лица — CodeFormer вытягивает детали на размытых, шумных и старых фотографиях; сила восстановления подобрана так, чтобы черты не «пластмассовели».
3. Фон и монохром — подстановка чистого фона и перевод в градации серого.
4. Работа с линиями — нерезкое маскирование и лапласиан на OpenCV: контуры и фактура становятся читаемыми до генерации.
5. Генеративная стилизация — Stable Diffusion XL через API Automatic1111 на своём GPU-сервере: чекпойнт DreamShaper XL Turbo, дообученная под нужный стиль LoRA, а поверх — InstantID и IP-Adapter через ControlNet. Именно эта связка удерживает сходство лица: модель стилизует кадр, но опирается на геометрию и идентичность исходного портрета.
6. Свечение по контуру — отдельные скрипты на четыре типа эффекта, применяются к результату генерации.
7. Стилистические варианты — из финального кадра собираются четыре версии с разной подачей, чтобы пользователю было из чего выбрать.

Архитектура сервиса: Telegram-бот на aiogram 3 общается с FastAPI; тяжёлые задачи уходят в Celery с Redis в качестве брокера и хранилища очереди; воркер обрабатывает задачи по одной, чтобы не конкурировать за видеопамять. Модели YOLO и SAM загружаются один раз при старте процесса, а не на каждый запрос. Отдельные эндпоинты отдают позицию в очереди, статус задачи и готовый файл — бот опрашивает их и держит пользователя в курсе. Промежуточные результаты каждого шага сохраняются: это позволяет разбирать неудачные кадры и настраивать пайплайн по конкретным примерам.