feat: страница /kontakty/, robots.txt, ai.txt, llms.txt, sitemap.txt

- /kontakty/ — email, Telegram, ВКонтакте + сетка игровых форумов
- Меню обновлено: добавлен пункт «Контакты»
- public/robots.txt — статика, разрешено всё; Host для Yandex; перечислены
  AI-краулеры (GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot,
  anthropic-ai); ссылки на оба sitemap (XML + TXT)
- public/ai.txt — Train/Cite/Quote: yes, контактная почта
- public/llms.txt — структура llmstxt.org с описанием проекта, ключевыми
  страницами, форумами, RSS-фидами, контактами
- src/pages/sitemap.txt.ts — endpoint, генерит plain-text список 66 URL
  (главная + статика + страницы + посты + категории)
This commit is contained in:
2026-05-21 01:51:51 +03:00
parent fce2278129
commit 841826ba8e
7 changed files with 214 additions and 0 deletions

34
public/robots.txt Normal file
View File

@@ -0,0 +1,34 @@
# robots.txt for anotherreflections.ru
# Static site (Astro), no admin area, no parametric URLs.
User-agent: *
Allow: /
User-agent: Yandex
Allow: /
Host: https://anotherreflections.ru
# AI/LLM crawlers — индексировать разрешено,
# для уточнения политики обучения см. ai.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: anthropic-ai
Allow: /
Sitemap: https://anotherreflections.ru/sitemap-index.xml
Sitemap: https://anotherreflections.ru/sitemap.txt
Crawl-delay: 2