Битва нейросетей: кто найдет больше проблем на сайте за 1 промпт

Закинуть ссылку на сайт в нейросеть и получить готовый аудит за пару минут… Звучит как мечта! Мы в click.ru провели эксперимент и проверили 5 популярных моделей на реальном интернет-магазине. Мы дали каждой ровно один промпт с заданием найти разные виды ошибок на сайте. Результат удивил всю редакцию: ChatGPT оказался аутсайдером. Кто победил и почему, читайте ниже.

Что может и что не может быстрый ИИ-аудит

Давайте сразу обозначим границы: ждать чуда от нейросети и думать, что она заменит команду специалистов, — очень наивно. ИИ действительно способен за несколько минут найти многие проблемы, но полноценный аудит технической части или удобства ресурса, анализ серверной части по-прежнему требует специализированных инструментов и участия экспертов.

Итак, вот что зачастую может проанализировать нейросеть, если дать ей только список URL:

• структуру страницы (наличие всех важных и привычных для пользователя блоков и элементов);
• содержание и логику меню;
• контент страницы (текст, заголовки, кнопки);
• метатеги Title, Description;
• наличие явных технических ошибок на сайте;
• грамматические и смысловые ошибки в тексте.

А вот что нейросеть проанализировать обычно не может при наличии только URL:

• картинки;
• динамический контент (личные кабинеты, корзины, формы, всплывающие окна, выпадающие списки);
• ссылки, ведущие на внутренние страницы или другие сайты (ИИ-сервисы не переходят по ссылкам);
• JS/CSS/HTML-код;
• дизайн, шрифты, цвета (нейросети их не видят как картинку);
• адаптивную версию для мобильных устройств.

Кроме того, важно помнить: загружать в ИИ можно только открытые данные, такие как URL-адреса страниц, скопированные тексты, HTML-код при необходимости. В целях безопасности нельзя давать нейросетям логины, пароли доступа в админку, внутренние IP-адреса сервера, никакие данные клиентов.

Условия эксперимента

Чтобы сравнение нейросетей было честным, мы создали единые правила для всех участников.

Задача эксперимента — определить, какая из бесплатных нейросетей способна самостоятельно, без наводящих вопросов, обнаружить максимальное количество реальных ошибок и недочетов на сайте, которые влияют на ранжирование в поисковых системах, пользовательский опыт и конверсию.

Участники

В эксперименте задействованы следующие генеративные нейросети (исключительно бесплатные версии на момент проведения теста): ChatGPT, DeepSeek, Gemini, Perplexity, ГигаЧат. Алиса AI, к сожалению, не умеет просматривать содержание веб-ресурсов по ссылке.

Отказ Алисы

Все модели работают в режиме текста, возможности анализа изображений или файлов не используются.

Входные данные

Каждая нейросеть получает один и тот же промпт:

Ты самый дотошный юзабилити-аналитик, маркетолог и SEO-специалист в одном лице. Твоя задача — найти максимум проблем в следующих областях, а также любые другие недочеты, которые ты сможешь обнаружить:

1. Текст и контент (все текстовые элементы).
2. Структура и навигация.
3. Юзабилити и доверие.
4. Коммерческие факторы.
5. Другое.

Формат отчета:

1. Все проблемы группируются по страницам и категориям:

Страница 1: [URL]

Категория 1: [название]

• Проблема 1.1: …
• Проблема 1.2: …
• и т.д.

2. Каждая проблема должна содержать:

• конкретное описание (что именно не так и в чем негативное влияние этой проблемы);
• конкретные рекомендации по исправлению.

3. В конце отчета для каждой страницы перечисли топ-5 самых критичных проблем с указанием приоритета исправления (от 1 до 5, где 1 — нужно решать срочно) и пояснением приоритета.

Требования к отчету:

• Максимальная конкретика. Никаких общих фраз вроде «улучшить контент» или «оптимизировать заголовки».
• Каждая рекомендация должна быть выполнимой: что удалить, что добавить, куда перенести, на что заменить и т. д.
• Если проблема требует специального инструмента для проверки (скорость, адаптивность), явно укажи это в рекомендации.
• Важно: запрещено выдумывать, додумывать или утверждать то, что ты не можешь проверить.

Страницы для анализа: (указываем URL)

Почему мы составили промпт именно так? Конкретная роль (аналитик + маркетолог + SEO) задает экспертный тон. Указание на максимум проблем направляет ИИ к полному исследованию. Описание формата выходных данных позволяет легче сравнить ответы разных сервисов. Конечно, можно составить промпт и иначе, это просто пример.

Критерии оценки результатов

У нас будет три критерия, по каждому из которых мы будем ставить от 0 до 2 баллов.

1. Полнота

• 2 — найдено 10+ реальных проблем, охвачены все основные категории.
• 1 — 5-9 проблем или охвачены не все категории.
• 0 — менее 5 проблем или проблемы надуманные.

2. Конкретика

• 2 — каждая проблема описана, дана четкая рекомендация по решению.
• 1 — описание или рекомендация есть, но размытые, общие.
• 0 — описания/рекомендации нет или есть, но с ошибками.

3. Приоритеты

• 2 — топ-5 проблем есть, каждой присвоен приоритет с пояснением.
• 1 — топ есть, но без пояснений или их меньше 5.
• 0 — топа нет.

Дополнительно за ошибки или «галлюцинации» нейросети можно штрафовать (-1 балл за каждый случай). По итогу мы составим таблицу с результатами и сделаем выводы.

Результаты Битвы нейросетей: разбор качества ответов и ошибок

Давайте по очереди подробно проанализируем все ответы, которые мы получили.

ChatGPT

На первый взгляд, ответ выглядит аккуратно, структура соблюдена. Но при более внимательном рассмотрении обнаруживается, что информации очень мало.

Скриншоты анализа от ChatGPT

Ответ довольно поверхностный и размытый. Сервис фиксирует самые очевидные вещи, но не углубляется в детали.

У ответа, конечно, есть плюсы. Главные проблемы определены верно: слабое ценностное предложение на главной, неструктурированный контент, недостаток доверительных элементов, некоммерческое описание категорий, длинные названия товаров в листинге, отсутствие элементов быстрой покупки, а также отсутствие отзывов и продающих текстов в карточках товаров. Те рекомендации, которые сервис добавил в явном виде, в целом здравые. Но на этом с плюсами все.

Остальное, к сожалению, мы относим к минусам. Главный минус — поверхностность. ChatGPT выявил мало проблем, ответ наполнен оговорками и условными конструкциями. Нейросеть многократно использует формулировки «если отсутствует», «возможно, есть», хотя в промпте четко указано, что если элемент нельзя проверить по контенту, писать о нем не нужно. Это создает иллюзию анализа там, где анализа нет. В частности, в топ-5 для главной страницы включен пункт «Необходимость проверки скорости». Это не диагностированная проблема, а область неизвестности.

Приоритизация проблем от ChatGPT

Многие ошибки, вероятно, вызваны тем, что ChatGPT не увидел большую часть контента. Например, для страницы категории бот утверждает, что отсутствуют фильтры по бренду, цене, длине, ширине и другим параметрам, хотя в реальности развернутый фильтр есть.

Фильтры в магазине

Но есть и объективные недочеты. На главной странице нейросеть не заметила устаревшие отзывы и ряд других моментов (они будут понятны из анализа ответов других сервисов). Топ-5 проблем обозначены в очень общих чертах. Чтобы разобраться в этой приоритизации, нужно перечитывать весь аудит.

DeepSeek

Ответ этого сервиса производит лучшее впечатление. С первого взгляда видно, что нейросеть сумела прочитать контент. Объем анализа значительно больше, чем у ChatGPT, каждая проблема не просто названа, а разобрана с указанием фрагмента страницы и зачастую с цитатой. Структура четкая, а рекомендации конкретные.

Скриншоты анализа от DeepSeek

Что DeepSeek сделал хорошо?

• Верно определил проблемы: слабое ценностное предложение на главной, неструктурированный контент, недостаток доверительных элементов, некоммерческое описание категорий, длинные названия товаров, отсутствие элементов быстрой покупки, отсутствие отзывов и продающих текстов в карточках товаров и др.
• Зафиксировал технические ошибки, например избыточность в хлебных крошках, дублирование характеристик в карточке товара, избыточная пагинация и др.

То самое дублирование характеристик

• Предложил конкретные формулировки для доработок, готовые к передаче в ТЗ, например: «Заменить текст «Добро пожаловать…» на структурированный блок с УТП» или «Вывести в карточку товара миниатюру с ключевыми характеристиками».
• Расставил приоритеты с четкой градацией (срочно, высокий, средний) и пояснил, почему каждый пункт важен для бизнеса.

Приоритизация от DeepSeek

Но, конечно, есть и недочеты. Этот сервис, как и ChatGPT, смешивает в одном списке проблемы, выявленные по контенту, и рекомендации, требующие применения сторонних сервисов, например PageSpeed. Кроме того, сервис не заметил устаревший контент (год копирайта 2017 и отзывы 2023 года).

Год в футере

Тем не менее, ответ DeepSeek довольно полный и глубокий. Нейросеть провела настоящий аудит, который подходит для практического использования, например для постановки задач разработчикам, контент-менеджерам и маркетологам.

ГигаЧат

К сожалению, Алиса AI не смогла нам помочь, так как не сумела прочитать контент по ссылке. Поэтому за нее будет отдуваться другой отечественный сервис — ГигаЧат от Сбера.

Скриншоты анализа от ГигаЧат

Нейросеть пишет уверенно, детально, с цифрами и конкретными рекомендациями. Однако при сопоставлении с контентом страниц обнаруживаются странные несоответствия.

Бесспорный плюс работы ГигаЧата — дотошность. Он отметил множество мелких деталей. Например, упомянул грамматическую ошибку «комнатот» (отсутствие пробела). Это не увидел никто из остальных нейросетей. ИИ указал на отсутствие юридических реквизитов (ИНН, ОГРН) в «подвале». Согласно закону «О защите прав потребителей», индивидуальный предприниматель должен размещать на сайте информацию о регистрации в общедоступной форме. На практике эти данные чаще всего размещают именно в нижнем сквозном блоке. В карточке товара нейросеть обнаружила противоречие в стране производителя: в коде указано «Abber (Китай)», в характеристиках — «Германия». Отмечены старые даты копирайта и отзывов, дублирование метатега Title и текста на странице.

Противоречия с городом

Но переходим к самым серьезным минусам.

• Для страницы категории ГигаЧат утверждает: «На странице полностью отсутствуют сами товары. Это пустая посадочная страница». Это не так, ведь мы видим товары с ценами, артикулами, пагинацию. Нейросеть либо не получила контент, либо проигнорировала его.
• ГигаЧат пишет, что номер телефона «скрыт за формулировкой «по телефону» без указания цифр». В контенте телефоны указаны явно и многократно: в шапке, в подвале, в текстовых блоках.
• Нейросеть утверждает, что в карточке товара отсутствует кнопка «Добавить в корзину», а на странице категории нет фильтров, хотя все эти элементы есть. Сервис не учитывает, что по каким-то причинам может просто не получить доступа к ним.

Приоритизация от ГигаЧат

Для нас ответ ГигаЧата — самый противоречивый среди всех. Нейросеть замечает грамматику, юридические недочеты, технические ошибки, дает конкретные и полезные рекомендации. Однако в его ответе слишком много ложных утверждений.

Gemini

Ответ этого сервиса производит впечатление добротного сбалансированного анализа. Он структурирован, а серьезных недочетов не так много, как у некоторых других участников. Но давайте разберем подробнее.

Скриншоты анализа от Gemini

У анализа, на наш взгляд, много плюсов. Нейросеть зафиксировала очевидные проблемы, а также важные детали, которые другие пропустили. В частности, ИИ обратил внимание на давно не обновлявшийся копирайт, переоптимизированный SEO-текст, устаревшую капчу, недочеты в меню, дублирующееся название товара в карточке и многое другое. Кроме того, Gemini отметил много проблем, критичных именно с точки зрения пользователя (например, слабое УТП или рекомендованную транспортную компанию, которая не перевозит крупногабаритные товары по умолчанию). Ответ структурирован, недочеты подробно описаны, советы конкретные и понятные.

Приоритизация от Gemini

С учетом всех ограничений для ИИ у ответа Gemini мы не выявили значимых недостатков. Из отдельных упущений — сервис не заметил дублирование характеристик в карточке товара. В целом ответ можно считать полным и достоверным.

Perplexity

Ответ этого сервиса выглядит осторожно. Нейросеть явно старается не ошибиться и для этого пишет только то, в чем уверена, но уверена она в довольно ограниченном количестве вещей.

Скриншоты анализа от Perplexity

Вот несколько положительных моментов.

• Сервис верно определил основные проблемные зоны: слабое ценностное предложение на главной, недостаток доверительной информации, нехватка элементов, подталкивающих к покупке, в каталоге и карточке товара.
• Дополнительно Perplexity подметила отдельные интересные моменты юзабилити. Например, о том, что высокая цена товара не сопровождается обоснованием ценности, не показаны аналоги, нет объяснения процесса индивидуального заказа (как именно это работает), условия доставки сформулированы на сайте слишком размыто.
• То, в чем нейросеть не уверена, она вынесла в блок «Что обязательно проверить отдельно» в конце.

К минусам можно отнести следующие.

• Недостаточно конкретные рекомендации. К примеру, вместо четких указаний, что и где написать, нейросеть предлагает «усилить ценностное предложение» или «добавить доверительные элементы». Такие формулировки требуют дополнительной расшифровки перед передачей в работу.
• Нейросеть не заметила противоречие в стране производителя на карточке, дублирование характеристик, устаревший год копирайта (2017) и отзывы 2023 года.
• Perplexity слишком часто использует оговорки: «не видно», «не хватает», «нельзя подтвердить». Это создает впечатление, что нейросеть не столько анализирует, сколько перечисляет, чего она не знает.
• Топ-5 проблем составлен из общих тезисов, которые не дают конкретных указаний для доработок.

Приоритизация проблем от Perplexity

Ответ этого сервиса в целом можно признать хорошим, однако рекомендации могли бы быть более конкретными и практичными, а оговорок могло бы быть меньше.

Подводим итоги эксперимента

Вот как выглядит наша таблица с критериями оценки ответов:

Нейросеть	Полнота	Конкретика	Приоритеты	Штрафы	Итого
ChatGPT	1	1	1	-2	1
DeepSeek	2	2	2	-1	5
ГигаЧат	2	2	2	-2	4
Gemini	2	2	2	-1	5
Perplexity	2	2	1	-1	4

Пояснения и победители

С точки зрения первых двух критериев справились неплохо все сервисы, кроме ChatGPT. Он поскупился и на объем аудита, и на конкретику в рекомендациях. С приоритетами примерно такая же ситуация, однако дополнительно мы забрали балл у Perplexity за слишком общие формулировки в блоках с топ-5 ошибок. Все сервисы мы оштрафовали на 1 балл за пропущенные проблемы и/или высказывания о неподтвержденных моментах, которые ИИ не может проверить. Дополнительно по баллу снято у ChatGPT и ГигаЧат за неприлично большое количество ложных утверждений.

Стоить сделать важную оговорку: у нейросетей разные возможности для сбора информации с сайтов. Не все сервисы одинаково хорошо видят контент. Gemini, вероятно, дал один из самых подробных ответов, потому что у Google есть доступ к большому объему данных о сайтах. Это и поисковая индексация, и данные из Google My Business, и другие инструменты экосистемы.

В итоге у нас два явных лидера, DeepSeek и Gemini, набравшие по 5 баллов. Второе место с 4 баллами делят Perplexity и ГигаЧат, ChatGPT — аутсайдер. Это весьма неожиданный для нас результат, ведь именно продукт OpenAI у многих на слуху.

Когда и для чего использовать ИИ

Нейросети отлично подходят для быстрой предварительной проверки сайта. С их помощью можно за 5 минут получить общую картину: найти самые очевидные ошибки, понять, в какую сторону двигаться, набросать список моментов для дальнейшей проработки. Однако при тех условиях, которые мы задали для нашего эксперимента, ИИ не сможет провести профессиональный аудит.

Что делать, если нужен более глубокий анализ

Во-первых, придется привлечь профильных сотрудников: SEO-специалиста, аналитика, юзабилити-специалиста, программиста, копирайтера, дизайнера, в зависимости от того, что нужно проанализировать.

Во-вторых, нейросетям (если они будут использоваться) нужно будет дать больше информации. Например, скриншоты, код страниц, выгрузку метатегов, карту сайта, структуру каталога, тексты и др. Без этого нейросеть продолжит додумывать, ошибаться и пропускать важные детали, как это случилось в нашем эксперименте.

В-третьих, понадобятся дополнительные инструменты:

• веб-аналитика для сбора данных о трафике и поведении пользователей;
• инструменты проверки скорости и производительности сайта;
• краулеры и сканеры для технического аудита, поиска битых ссылок и дублей страниц;
• SEO-платформы для мониторинга позиций, ссылок и конкурентов;
• сервисы проверки контента на уникальность и переоптимизацию.

В экосистеме click.ru есть собственные инструменты аналитики. Например, SEO-модуль проверяет индексацию страниц, наличие ошибок 404 и 500, а также присутствие ключевых слов в тексте и title.

Кроме того, у нас есть маркетплейс, где собраны сервисы для маркетинга и бизнеса. Среди них — инструменты для технического аудита сайтов, SEO-аналитики, мониторинга видимости в нейросетях, сквозной аналитики и многого другого.

Многие из этих сервисов доступны бесплатно или со скидкой при ведении рекламы через click.ru, так как их можно оплачивать бонусными баллами.

Вопросы и ответы

Какие страницы лучше всего давать нейросети для аудита?

Все зависит от типа сайта, его структуры и целей анализа. Для интернет-магазина, например, помимо главной, категории и карточки товара, стоит добавить страницы доставки, оплаты, фильтрации и корзины (если они открыты для ботов). На услуговом сайте лучше проверять главную, страницу услуги, прайс-лист, кейсы или портфолио, страницу отзывов и контакты.

Как нейросеть определяет приоритетность проблем?

У нейросети нет доступа к реальной аналитике сайта: она не знает, какие страницы приносят трафик, где находятся ключевые точки конверсии и что для бизнеса важнее всего. Поэтому приоритеты она расставляет на основе общих правил, а не данных.

Как часто нужно проводить ИИ-аудит?

Это зависит от того, как часто обновляется сайт. Если новые страницы и правки появляются каждый день, проверять можно раз в неделю. Если сайт меняется редко, достаточно раз в месяц. Чаще делать нет смысла: изменения просто не накопятся.