AI in QA

Инструменты генерации тестов с ИИ: что реально работает в 2026

11 min readMay 2026

Инструменты типа «промпт в тест» (Copilot, ChatGPT) быстро генерируют структуру теста, но всегда дают неправильные селекторы, потому что не видят твоё приложение. Инструменты записи вроде Playwright Codegen генерируют точные локаторы, но без ассёртов о поведении. Ниже разобраны четыре подхода к AI-генерации тестов: что каждый реально производит и где ломается.

Четыре подхода к AI-генерации тестов

AI-генерация тестов это не одно явление. Инструменты используют принципиально разные подходы.

1. Промпт в тест (ChatGPT, Claude, Copilot)

Описываешь что тестировать, AI пишет код. Вставляешь спецификацию, пользовательскую историю или описание, получаешь обратно Playwright/Selenium/другой код.

Реальность: Хорошая отправная точка для шаблонного кода и структуры. Селекторы почти всегда неверны (инструмент не видит твоё приложение). Логику нужно проверять. Ассёрты могут отсутствовать. Лучше использовать как «генератор первого черновика», а не готовый тест. Лучший вариант применения: Написание скелетов тестов, генерация тестовых данных, создание начальной структуры когда знаешь что писать, но хочешь работать быстрее.

2. Запись UI с AI-улучшением (Playwright Codegen, Selenium IDE, Applitools)

Записываешь действия в браузере, AI конвертирует их в код и пытается сделать селекторы более устойчивыми.

Реальность: Запись быстро даёт рабочие тесты. Генерируемый код часто хрупкий (позиционные селекторы, точное совпадение текста). AI-улучшение частично помогает, но не решает фундаментальную проблему хрупкости. Лучший вариант применения: Отправная точка для ручных рабочих процессов тестирования, быстрое прототипирование тестовых потоков.

3. Тесты из требований (Testim, Reflect.run, Katalon)

Инструмент принимает требования, пользовательские истории или критерии приёмки и генерирует из них тесты.

Реальность: Самый амбициозный подход с самым нестабильным качеством. Приемлемо работает для простых, хорошо определённых потоков. Ломается на сложной бизнес-логике, точной UI-валидации и всём доменно-специфичном. Лучший вариант применения: Планирование покрытия, первый проход по простым CRUD-тестам.

4. Визуальное/diff-тестирование (Applitools, Percy, Chromatic)

Эти инструменты не генерируют функциональные тесты: они захватывают скриншоты и помечают визуальные регрессии. AI используется чтобы игнорировать легитимные изменения (анимации, динамические временные метки) и помечать настоящие визуальные баги.

Реальность: Действительно хорошо работает для конкретного применения. Не «генерация тестов» в традиционном смысле, но AI применённый к реальной задаче тестирования. Лучший вариант применения: Визуальное регрессионное тестирование: выявление непреднамеренных изменений UI между релизами.

Разбор инструментов

Playwright Codegen (встроенный, бесплатно)

Встроенный рекордер Playwright. Записывает действия в браузере и генерирует TypeScript/JavaScript код Playwright.

Что делает: Захватывает клики, заполнения, навигацию и генерирует последовательности page.goto(), page.click(), page.fill(). AI-аспект: Playwright генерирует семантические локаторы (getByRole, getByLabel, getByText) вместо хрупких CSS-путей. Это существенный прогресс по сравнению с инструментами записи которые генерируют XPath. Ограничения: Ассёрты не генерируются если явно не нажать правую кнопку мыши и не выбрать «assert». Нет понимания намерения теста: инструмент просто записывает механику, а не поведение. Вердикт: Используй. Бесплатно, встроено, качество локаторов существенно улучшилось. Результат воспринимай как первый черновик.

GitHub Copilot (платный, $10/месяц или бесплатно для студентов)

AI-дополнение кода внутри редактора. При наборе тестового кода предлагает варианты завершения.

Что делает хорошо: Завершает паттерны которые уже начал, шаблонный код для тестовых файлов, предлагает следующий ассёрт когда контекст понятен, генерирует массивы тестовых данных. Что делает плохо: Селекторы (угадывает), решения о тестовом покрытии (не знает твоё приложение), многофайловый контекст. Вердикт: Оправдывает себя для активно работающих инженеров по автоматизации. Реальный прирост продуктивности на шаблонном коде, но не инструмент генерации тестов как таковой.

ChatGPT / Claude (платная подписка или API)

Универсальный AI, который пишет тестовый код при грамотном промпте.

Что делает: Принимает описание того что нужно тестировать и пишет Playwright-код. При конкретных промптах (селекторы, критерии приёмки, бизнес-правила) качество структуры высокое. Ограничения: Селекторы неверны, нужен реальный контекст приложения который передаёшь через промпт. Не интегрирован в редактор. Вердикт: Отлично для планирования тест-кейсов, написания начальной структуры тестов и генерации тестовых данных. Используй вместе с Copilot (Copilot в редакторе, ChatGPT для планирования).

Testim (платный корпоративный)

Платформа end-to-end автоматизации тестирования с AI-идентификацией элементов и self-healing.

Что делает: Записывает тесты через браузерное расширение, использует машинное обучение для более устойчивого сопоставления элементов при изменениях UI, предлагает управление тестами. AI-аспект: Строит модель каждого элемента с использованием нескольких атрибутов, чтобы тесты выдерживали переименования CSS-классов. Ограничения: Привязка к вендору (тесты живут на их платформе), дорого, AI управляет устойчивостью селекторов, но не качеством тестовой логики. Вердикт: Вариант для команд, которым нужна no-code/low-code платформа тестирования и которые могут позволить расходы. Не для команд приверженных Playwright с кодом.

Applitools Eyes (платный)

Платформа визуального AI-тестирования. Захватывает скриншоты, сравнивает их интеллектуально.

Что делает: Игнорирует «ожидаемые» различия (рендеринг шрифтов, сглаживание, анимации) и помечает реальные визуальные регрессии. Реальная сила: Именно здесь AI по-настоящему силён в тестировании. Попиксельное сравнение слишком шумное; умное визуальное сравнение реально полезно. Ограничения: Дорого, не бесплатно, добавляет сложности в CI-пайплайны. Вердикт: Если визуальное регрессионное тестирование важно для продукта, это лучший инструмент. Если нет, есть дешевле (встроенное визуальное сравнение Playwright).

Katalon (бесплатный уровень + платный)

Комплексная платформа автоматизации с AI-функциями для предложения тест-кейсов и поддержки.

Что делает: Создание тестов через GUI, AI-предложения локаторов, интеграция с CI/CD. AI-аспект: Предлагает альтернативные локаторы когда тесты ломаются, генерирует базовые тест-кейсы из пользовательских историй. Ограничения: Специфичный для инструмента DSL, менее гибкий чем нативный Playwright, сложный UI. Вердикт: Подходит для команд которым нужна управляемая платформа с GUI-инструментами. Не замена знанию Playwright.

Что AI-генерация тестов НЕ делает

Не понимает бизнес-правила

AI не знает, что скидки нельзя применять к распродажным товарам или что конкретная роль пользователя не может заходить в биллинг. Тестировать логику которая имеет значение нужно самим.

Не решает что тестировать

Решения о тестовом покрытии (какие сценарии важны, какие граничные случаи рискованны) требуют доменных знаний. AI может предлагать, люди решают.

Не поддерживает тесты

Когда UI меняется, AI-генерированные тесты ломаются так же как написанные вручную. Self-healing инструменты помогают с хрупкостью селекторов, но не с изменениями логики.

Не заменяет понимание

Если не понимаешь что тестируешь, AI-генерированные тесты будут выглядеть полными и пропускать всё важное.

Реалистичная интеграция в рабочий процесс

Вот как выглядит хорошо интегрированный AI-assisted рабочий процесс для QA-инженера по автоматизации в 2026:

Планирование тестов

Используй ChatGPT/Claude с хорошими промптами для генерации списков тест-кейсов из требований. Просматривай и добавляй доменно-специфичные случаи которые AI не мог знать.

Написание тестов

Начинай с Playwright Codegen для happy-path потоков. Используй Copilot в VS Code для заполнения шаблонного кода, завершения паттернов ассёртов и генерации тестовых данных.

Ревью тестов

AI не проверит написанные тобой тесты на полноту. Делай это сам.

Визуальная регрессия

Добавь встроенное сравнение скриншотов Playwright для критичных UI-элементов, или Applitools если позволяет бюджет.

Поддержка

Когда тесты ломаются, используй Playwright Inspector + Copilot для исправления. Self-healing инструменты помогают, но не заменяют хорошие практики локаторов.

Сводная таблица

|------------|-----------|-----------------|---------|

Инструменты которые стоит попробовать первыми: бесплатные или недорогие. Playwright Codegen (встроен) и Copilot. Добавь ChatGPT для планирования. Добавь визуальное тестирование если это реальная потребность.

Дорогие AI-платформы решают реальные проблемы. Только убедись что это твои проблемы, прежде чем вкладываться.

All articles