striker
841826ba8e
- /kontakty/ — email, Telegram, ВКонтакте + сетка игровых форумов - Меню обновлено: добавлен пункт «Контакты» - public/robots.txt — статика, разрешено всё; Host для Yandex; перечислены AI-краулеры (GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot, anthropic-ai); ссылки на оба sitemap (XML + TXT) - public/ai.txt — Train/Cite/Quote: yes, контактная почта - public/llms.txt — структура llmstxt.org с описанием проекта, ключевыми страницами, форумами, RSS-фидами, контактами - src/pages/sitemap.txt.ts — endpoint, генерит plain-text список 66 URL (главная + статика + страницы + посты + категории)
35 lines
653 B
Plaintext
35 lines
653 B
Plaintext
# robots.txt for anotherreflections.ru
|
|
# Static site (Astro), no admin area, no parametric URLs.
|
|
|
|
User-agent: *
|
|
Allow: /
|
|
|
|
User-agent: Yandex
|
|
Allow: /
|
|
Host: https://anotherreflections.ru
|
|
|
|
# AI/LLM crawlers — индексировать разрешено,
|
|
# для уточнения политики обучения см. ai.txt
|
|
User-agent: GPTBot
|
|
Allow: /
|
|
|
|
User-agent: ClaudeBot
|
|
Allow: /
|
|
|
|
User-agent: Google-Extended
|
|
Allow: /
|
|
|
|
User-agent: CCBot
|
|
Allow: /
|
|
|
|
User-agent: PerplexityBot
|
|
Allow: /
|
|
|
|
User-agent: anthropic-ai
|
|
Allow: /
|
|
|
|
Sitemap: https://anotherreflections.ru/sitemap-index.xml
|
|
Sitemap: https://anotherreflections.ru/sitemap.txt
|
|
|
|
Crawl-delay: 2
|