Si sospettava da tempo che Apple avesse un web crawler, per analizzare e trovare le pagine in rete; oggi ne è arrivata conferma quando Apple ha pubblicato un documento relativo a Applebot, il suo crawler appunto.
Applebot serve per i risultati di Siri e Spotlight:
Applebot is the web crawler for Apple, used by products including Siri and Spotlight Suggestions. It respects customary robots.txt rules and robots meta tags. It originates in the 17.0.0.0 net block.
User-agent strings will contain “Applebot” together with additional agent information. For example: