# --- 1) Slow down Bingbot ---------------------------------
User-agent: bingbot
# 20 秒のクロール間隔（1〜30 秒の範囲が推奨）
Crawl-delay: 20

# 重い or 動的ページをブロック（例）
Disallow: /jav/cgi-bin/
Disallow: /jav/search
Disallow: /jav/tmp/
Disallow: /jav/*?*          # パラメータ付き重複 URL をまとめて除外
Disallow: /jav/wp-admin/    # WP の管理画面
Allow:    /jav/wp-admin/admin-ajax.php  # Ajax は許可（WP 動作用）

# Bing 用サイトマップ
Sitemap: https://jav.adult-bank.jp/jav/sitemap.xml
Sitemap: https://jav.adult-bank.jp/jav/atom
Sitemap: https://jav.adult-bank.jp/jav/feed
Sitemap: https://jav.adult-bank.jp/jav/recent-video-sitemap.xml

# --- 1) Slow down AhrefsBot ---------------------------------
User-agent: AhrefsBot

# 重い or 動的ページをブロック（例）
Disallow: /jav/cgi-bin/
Disallow: /jav/search
Disallow: /jav/tmp/
Disallow: /jav/*?*          # パラメータ付き重複 URL をまとめて除外
Disallow: /jav/wp-admin/    # WP の管理画面
Allow:    /jav/wp-admin/admin-ajax.php  # Ajax は許可（WP 動作用）

# AhrefsBot 用サイトマップ
Sitemap: https://jav.adult-bank.jp/jav/sitemap.xml
Sitemap: https://jav.adult-bank.jp/jav/atom
Sitemap: https://jav.adult-bank.jp/jav/feed
Sitemap: https://jav.adult-bank.jp/jav/recent-video-sitemap.xml

# --- 1) Slow down SemrushBot ---------------------------------
User-agent: SemrushBot

# 重い or 動的ページをブロック（例）
Disallow: /jav/cgi-bin/
Disallow: /jav/search
Disallow: /jav/tmp/
Disallow: /jav/*?*          # パラメータ付き重複 URL をまとめて除外
Disallow: /jav/wp-admin/    # WP の管理画面
Allow:    /jav/wp-admin/admin-ajax.php  # Ajax は許可（WP 動作用）

# SemrushBot 用サイトマップ
Sitemap: https://jav.adult-bank.jp/jav/sitemap.xml
Sitemap: https://jav.adult-bank.jp/jav/atom
Sitemap: https://jav.adult-bank.jp/jav/feed
Sitemap: https://jav.adult-bank.jp/jav/recent-video-sitemap.xml


User-agent: *
Disallow: /jav/wp-admin/
Allow: /jav/wp-admin/admin-ajax.php

Allow: /jav/wp-content/uploads/

# サイトマップの URL を指定
Sitemap: https://jav.adult-bank.jp/jav/sitemap.xml
Sitemap: https://jav.adult-bank.jp/jav/atom
Sitemap: https://jav.adult-bank.jp/jav/feed
Sitemap: https://jav.adult-bank.jp/jav/recent-video-sitemap.xml