lrdlg
51 lines
1.5 KiB
Plaintext
51 lines
1.5 KiB
Plaintext
# =============================================================================
|
|
# robots.txt — courcellematthi.eu
|
|
# =============================================================================
|
|
# Site personnel entièrement public : rien à masquer, tout à indexer.
|
|
# Un robots.txt permissif mais explicite vaut mieux qu'un fichier absent :
|
|
# il évite les 404 répétées dans les journaux et déclare le sitemap.
|
|
# =============================================================================
|
|
|
|
# --- Robots d'indexation classiques -----------------------------------------
|
|
User-agent: *
|
|
Allow: /
|
|
|
|
# --- Robots des moteurs de réponse et agents IA ------------------------------
|
|
# Autorisés explicitement : sur un CV, être cité par un agent conversationnel
|
|
# lors d'une recherche de profil est un bénéfice, pas une fuite.
|
|
# Retirer ces blocs (ou les passer en Disallow) si l'arbitrage change.
|
|
User-agent: GPTBot
|
|
Allow: /
|
|
|
|
User-agent: OAI-SearchBot
|
|
Allow: /
|
|
|
|
User-agent: ChatGPT-User
|
|
Allow: /
|
|
|
|
User-agent: ClaudeBot
|
|
Allow: /
|
|
|
|
User-agent: Claude-Web
|
|
Allow: /
|
|
|
|
User-agent: PerplexityBot
|
|
Allow: /
|
|
|
|
User-agent: Google-Extended
|
|
Allow: /
|
|
|
|
User-agent: Applebot-Extended
|
|
Allow: /
|
|
|
|
# --- Aspirateurs de site ----------------------------------------------------
|
|
# Bloqués : consommation de bande passante sans contrepartie.
|
|
User-agent: HTTrack
|
|
Disallow: /
|
|
|
|
User-agent: WebZIP
|
|
Disallow: /
|
|
|
|
# --- Plan du site -----------------------------------------------------------
|
|
Sitemap: https://www.courcellematthi.eu/sitemap.xml
|