最近自サイトにクロールしてくるボットについての記事をよく書いているが、今回はAdsbot。
そこそこの頻度でやってくるのでやや鬱陶しい。
ユーザーエージェントは以下の通り。
Mozilla/5.0 (compatible; Adsbot/3.1; +https://seostar.co/robot/)
ここに記載されているURLへアクセスすると以下のユーザーエージェントもあるようである。
Mozilla/5.0 (compatible; Adsbot/3.1; https://seostar.co/robot/)
違いはURL前の「+」の有無。
私が確認したIPアドレスは216.18.204.215で、ホスト名はip-216-18-204-215.seostar.coという形式になっている。
サイトの説明を読むと、SeostarはAdsbotを使ってSEO(サーチエンジン最適化)およびそれを利用したマーケティングなどを行っているようである。
一応robots.txtの指示に従うと書かれている。
もしAdsbotの全アクセスを拒否・禁止する場合は、robots.txtに以下のように記述する。
User-agent: adsbot Disallow: /
または、.htaccessでseostar.coをふさいでも良いだろう。