今回発見したボットはDataForSeoBot。
ユーザーエージェントは以下の通り。
Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)
私が確認したIPアドレスは88.198.0.120や116.202.192.48で、ホスト名はstatic.88-198-0-120.clients.your-server.deなどとなっている。
ユーザーエージェントに書かれているURLにアクセスしてみると、ボットについての説明が記載されている。 一応robots.txtに対応している。 もしDataForSeoBotの全アクセスを拒否・禁止する場合は、robots.txtに以下のように記述する。
User-agent: DataForSeoBot Disallow: /
DataForSeoは、その名の通りSEO（検索エンジン最適化）のためにウェブサイトのデータを収集し、ウェブマスターなどにその情報を提供している。
