DuckDuckGo ボットのユーザーエージェント

更新:

サーバーのアクセスログを見るとGooglebotやbingbotをよく見かける。 サイトを運営している人なら見たことがある人もいるだろう。 ユーザーエージェントやIPアドレスなどで分かる。

ボットがクロールしてくれることで、検索エンジンにインデックスされ、検索結果に表示されるようになる。

StatCounterによると、2021年3月現在の検索エンジンシェアは、Google 74.19%、Yahoo! 20.78%、Bing 4.61%、DuckDuckGo 0.2% となっている。 Yahoo! Japanの検索エンジンは中身がGoogleなので、実質95%近くGoogleが占めている。

DuckDuckGoの利用者は少ないが、いることはいる。 実際、私のサイトでも稀に利用者を見かける。 DuckDuckGoの検索結果に自サイトが表示されるということは、そのボットがサイトをクロールしているということ。

本当にクロールしているのかアクセスログを確認してみると、数は少ないが確認できた。 ボットの名称はDuckDuckBot。 以下にユーザーエージェントを記す。

ページ用
'Mozilla/5.0 (compatible; DuckDuckBot-Https/1.1; https://duckduckgo.com/duckduckbot)'

robots.txt用
Mozilla/5.0 (compatible; DuckDuckBot-Https/1.1; https://duckduckgo.com/duckduckbot)

ファビコン用
Mozilla/5.0 (compatible; DuckDuckGo-Favicons-Bot/1.0; +http://duckduckgo.com)

ページ用とrobots.txt用と記したが、これは私のサイトのアクセスログ上での話ある。 一見似ているが、シングルクォーテーション(')の有無の違いがあり、これらが使い分けられていた。 実際の仕様は不明。

またそれとは別にファビコン(favicon.ico)にアクセスするボットも確認できた。

ユーザーエージェントに書かれているURL(https://duckduckgo.com/duckduckbot)にアクセスすると、ボットに使用しているIPアドレスが確認できる。

  • 23.21.227.69
  • 40.88.21.235
  • 50.16.241.113
  • 50.16.241.114
  • 50.16.241.117
  • 50.16.247.234
  • 52.204.97.54
  • 52.5.190.19
  • 54.197.234.188
  • 54.208.100.253
  • 54.208.102.37
  • 107.21.1.8

ホスト名は duckduckbot.duckduckgo.com。 一部 compute-1.amazonaws.com もあるので、アマゾン(AWS)も使っているようである。

参考: DuckDuckGo Help PagesSearch Engine Market Share Japan | StatCounter Global Stats


このエントリーをはてなブックマークに追加