5 скрытых ошибок Sitemap.xml: Почему Google игнорирует ваши страницы

Технический стек: Эта статья посвящена Next.js App Router (sitemap.ts), генерации XML в Node.js и распространенным ловушкам, создаваемым ИИ-ассистентами (Cursor, Copilot, ChatGPT).

Ваше приложение на Next.js наконец-то развернуто. UI безупречен, функции работают, а показатели Lighthouse светятся зеленым. Но спустя две недели Google Search Console по-прежнему показывает пугающую цифру: «0 проиндексированных страниц».

Вы помните, как использовали ИИ-ассистента для генерации логики роутинга за пять секунд. Все выглядело правильно. Код скомпилировался. Но «vibe-coding» незаметно разрушил ваше техническое SEO. Давайте разберем топ-5 скрытых ошибок в sitemap.xml, которые допускает ИИ, и способы их исправления.

Иллюзия простого XML

Vibe-coding заставляет думать, что генерация карты сайта — это тривиальная задача. Вы промптите: «Сгенерируй sitemap для моего блога на Next.js». LLM мгновенно выдает файл sitemap.ts.

Но логика ИИ работает вслепую. Он не проверяет реальную файловую систему, не опрашивает базу данных, чтобы убедиться в существовании продукта, и фундаментально не понимает ограничений поисковых систем. Он создает структурно правильный код, который логически катастрофичен.

Critical — Потеря краулингового бюджета — Архитектурная ошибка

Фантомные URL-адреса (404 в карте сайта)

Самая распространенная ошибка LLM — предположение, что массив роутов в коде навсегда останется истиной. Если вы просите ИИ пройтись циклом по массиву слагов, он часто включает старые пути, которые вы удалили или переименовали во время рефакторинга.

Плохой код ИИ:

// ИИ хардкодит старые пути или не проверяет статус 'published' в БД
const routes = ["/blog/old-slug", "/blog/new-slug"];
return routes.map((route) => ({ url: `https://example.com${route}` }));

Последствия: Фантомные URL. Карта сайта гордо представляет Google страницы, которые возвращают 404 Not Found. Краулер Google тратит бюджет впустую, упираясь в тупики, что резко снижает уровень доверия ко всему вашему домену.

Critical — Ухудшение сигналов — Манипуляция метаданными

Динамический спам в <lastmod>

Если вы просите ИИ добавить свойства lastModified в sitemap.ts для Next.js, он почти всегда выбирает самое простое решение на JavaScript: new Date().

Плохой код ИИ:

// ИИ динамически генерирует текущую дату при каждом развертывании
return {
  url: "https://example.com/about",
  lastModified: new Date(),
  changeFrequency: "monthly",
};

Последствия: Тег <lastmod> должен сообщать Google, когда контент на самом деле изменился. Если вы используете new Date(), дата обновляется при каждом билде или рендеринге страницы. Google со временем замечает эту несогласованность метаданных, помечает поведение краулера как манипулятивное и перестает доверять вашим сигналам lastmod.

High — Отказ в индексации — Ошибка синтаксиса XML

Отсутствующие теги и битая структура XML

Когда ИИ используется для ручной генерации XML-строк (что часто встречается в потоковых API Node.js или кастомных эндпоинтах Express), он часто забывает закрывающие теги.

Плохой код ИИ:

let xml = `<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">`;

urls.forEach((url) => {
  // Отсутствует закрывающий тег </loc>: должно быть <loc>${url}</loc>
  xml += `<url><loc>${url}</url>`;
});
// Отсутствует закрывающий тег </urlset>

Последствия: Google Search Console требует строгого соблюдения XML. Один пропущенный тег </loc> или неэкранированный амперсанд (&) в URL сделает невалидным весь файл, заблокировав индексацию всех ваших страниц.

Medium — Конфликты канонических URL — Управление URL

Смешанные протоколы (HTTP vs HTTPS)

ИИ обожает интерполяцию строк и редко учитывает контекст окружения, если об этом не попросить явно.

Плохой код ИИ:

// ИИ хардкодит http вместо использования динамических заголовков или env-переменных
const domain = process.env.DOMAIN || "example.com";
const url = `http://${domain}/pricing`;

Последствия: Если ваш сайт работает на HTTPS, но карта сайта транслирует HTTP URL, Google воспринимает их как разные сущности. Это вызывает проблемы с дублированием контента, предупреждения о цепочках редиректов в Search Console и несовпадение канонических URL.

Critical — Полная заморозка индексации — Ошибка масштабирования

Игнорирование жестких лимитов Google

Если вы попросите ИИ сгенерировать карту сайта для интернет-магазина со 150 000 товаров, он с радостью выдаст один огромный массив.

Последствия: У Google есть строгие лимиты: 50 000 URL или 50 МБ (в распакованном виде) на один файл карты сайта. Огромный плоский массив нарушает это правило. Парсер зависнет, карта сайта будет отклонена, и ваш каталог будет молча исключен из индекса. Вы должны явно попросить ИИ реализовать архитектуру «Sitemap Index» для разделения URL на несколько валидных файлов.

Факт-чекинг: Автоматически сгенерированные карты сайта

• Доказательство: В архитектуре Next.js статические файлы sitemap.ts часто генерируются один раз во время сборки. Использование new Date() просто хардкодит временную метку билда, что делает реализацию технически ошибочной.
• Доказательство: Google Search Central четко определяет лимит в 50 МБ и 50 000 URL, требуя использования индекса карт сайта для крупномасштабных приложений.
• Мнение: По нашему опыту, ИИ-ассистенты отдают приоритет коду, который компилируется, а не коду, который соответствует рекомендациям для веб-мастеров.

Автоматизация проверок с WebValid

Ваш ИИ-ассистент не зловреден, ему просто не хватает контекста выполнения. Когда вы запускаете WebValid, sitemap-scanner проверяет сгенерированный XML за миллисекунды.

WebValid проверяет HTTP-ответ и распарсенный XML. Он не переписывает ваши обработчики маршрутов Next.js, но дает именно тот контекст ошибки, который нужен вашему ИИ для исправления.

Ваш чеклист по Sitemap

Шаблон промпта, который можно скопировать в ИИ-ассистент:

1. Проверь на 404: Убедись, что каждый URL в карте сайта соответствует активному маршруту с кодом 200 OK.
2. Исправь <lastmod>: Извлекай даты из полей updatedAt реальной базы данных, а не через new Date().
3. Валидируй XML: Используй строгий XML-валидатор для финального вывода.
4. Sitemap Index: Если URL больше 45 000 (лимит Google — 50 000, раннее разделение обеспечивает запас прочности), реализуй структуру Sitemap Index.

Ваш ИИ-ассистент может писать хороший код — он просто не знает, что именно пошло не так. Дайте ему список ошибок из WebValid, и он все исправит сам.

Начать аудит бесплатно

Официальная документация

• Google Search Central: Создание и отправка карты сайта
• Next.js Docs: MetadataRoute.Sitemap
• Google Search Central: Управление ошибками 404