サーバーのアクセスログを見るとGooglebotやbingbotをよく見かける。 サイトを運営している人なら見たことがある人もいるだろう。 ユーザーエージェントやIPアドレスなどで分かる。
ボットがクロールしてくれることで、検索エンジンにインデックスされ、検索結果に表示されるようになる。
StatCounterによると、2021年3月現在の検索エンジンシェアは、Google 74.19%、Yahoo! 20.78%、Bing 4.61%、DuckDuckGo 0.2% となっている。 Yahoo! Japanの検索エンジンは中身がGoogleなので、実質95%近くGoogleが占めている。
DuckDuckGoの利用者は少ないが、いることはいる。 実際、私のサイトでも稀に利用者を見かける。 DuckDuckGoの検索結果に自サイトが表示されるということは、そのボットがサイトをクロールしているということ。
本当にクロールしているのかアクセスログを確認してみると、数は少ないが確認できた。 ボットの名称はDuckDuckBot。 以下にユーザーエージェントを記す。
ページ用'Mozilla/5.0 (compatible; DuckDuckBot-Https/1.1; https://duckduckgo.com/duckduckbot)'
Mozilla/5.0 (compatible; DuckDuckBot-Https/1.1; https://duckduckgo.com/duckduckbot)
Mozilla/5.0 (compatible; DuckDuckGo-Favicons-Bot/1.0; +http://duckduckgo.com)
ページ用とrobots.txt用と記したが、これは私のサイトのアクセスログ上での話ある。 一見似ているが、シングルクォーテーション（'）の有無の違いがあり、これらが使い分けられていた。 実際の仕様は不明。
またそれとは別にファビコン（favicon.ico）にアクセスするボットも確認できた。
ユーザーエージェントに書かれているURL（https://duckduckgo.com/duckduckbot）にアクセスすると、ボットに使用しているIPアドレスが確認できる。
ホスト名は duckduckbot.duckduckgo.com。 一部 compute-1.amazonaws.com もあるので、アマゾン（AWS）も使っているようである。
参考： DuckDuckBot | DuckDuckGo Help Pages、 Search Engine Market Share Japan | StatCounter Global Stats
