AppleBot – веб-краулер Apple, используется для сбора данных для Siri и Spotlight. Компания Apple признала существование веб-краулера после многочисленных разговоров по этому поводу. Apple добавил страницу, посвященную AppleBot в свой справочный центр.
Apple придерживается правил robots.txt и мета-тегов robots. Если AppleBot не упоминается в robots.txt, Apple будет следовать указаниям для GoogleBot. Если же вебмастер желает заблокировать AppleBot и GoogleBot, для этого нужно будет заблокировать GoogleBot.
Если со стороны AppleBot замечена необычная активнсть, связаться со специалистами компании по поводу этой проблемы можно по email: Apple-NOC@apple.com
Через некоторое время после публикации информации об AppleBot, Apple Insider сообщил о том, что Apple «стремительно расширяет внутреннюю поисковую группу» для построения собственной версии поисковой системы на базе Spotlight.
