feat: страница /kontakty/, robots.txt, ai.txt, llms.txt, sitemap.txt
- /kontakty/ — email, Telegram, ВКонтакте + сетка игровых форумов - Меню обновлено: добавлен пункт «Контакты» - public/robots.txt — статика, разрешено всё; Host для Yandex; перечислены AI-краулеры (GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot, anthropic-ai); ссылки на оба sitemap (XML + TXT) - public/ai.txt — Train/Cite/Quote: yes, контактная почта - public/llms.txt — структура llmstxt.org с описанием проекта, ключевыми страницами, форумами, RSS-фидами, контактами - src/pages/sitemap.txt.ts — endpoint, генерит plain-text список 66 URL (главная + статика + страницы + посты + категории)
This commit is contained in:
34
public/robots.txt
Normal file
34
public/robots.txt
Normal file
@@ -0,0 +1,34 @@
|
||||
# robots.txt for anotherreflections.ru
|
||||
# Static site (Astro), no admin area, no parametric URLs.
|
||||
|
||||
User-agent: *
|
||||
Allow: /
|
||||
|
||||
User-agent: Yandex
|
||||
Allow: /
|
||||
Host: https://anotherreflections.ru
|
||||
|
||||
# AI/LLM crawlers — индексировать разрешено,
|
||||
# для уточнения политики обучения см. ai.txt
|
||||
User-agent: GPTBot
|
||||
Allow: /
|
||||
|
||||
User-agent: ClaudeBot
|
||||
Allow: /
|
||||
|
||||
User-agent: Google-Extended
|
||||
Allow: /
|
||||
|
||||
User-agent: CCBot
|
||||
Allow: /
|
||||
|
||||
User-agent: PerplexityBot
|
||||
Allow: /
|
||||
|
||||
User-agent: anthropic-ai
|
||||
Allow: /
|
||||
|
||||
Sitemap: https://anotherreflections.ru/sitemap-index.xml
|
||||
Sitemap: https://anotherreflections.ru/sitemap.txt
|
||||
|
||||
Crawl-delay: 2
|
||||
Reference in New Issue
Block a user