# 允许百度爬虫（最核心）
User-agent: Baiduspider
Allow: /

# 允许360爬虫
User-agent: 360Spider
Allow: /

# 允许搜狗爬虫
User-agent: Sogou Spider
User-agent: Sogou web spider
User-agent: Sogou News Spider
User-agent: Sogou Orion Spider
Allow: /

# 允许头条/字节跳动爬虫
User-agent: Bytespider
Allow: /

# 禁止谷歌爬虫（明确禁用）
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-Video
Disallow: /

# 禁止其他所有未指定的爬虫（兜底规则）
User-agent: *
Disallow: /

# 站点地图（指向你的sitemap.xml，适配伪静态规则）
Sitemap: https:///sitemap.xml

# 可选：禁止所有爬虫抓取敏感目录（增强安全性）
User-agent: *
Disallow: /cache/
Disallow: /data/
Disallow: /zb_system/
Disallow: /zb_users/logs/
Disallow: /sub/  # 若有分站目录，可禁止爬虫直接抓取