0
1
0
1
2
3
4
5
6
7
8
9
0
0
1
2
3
4
5
6
7
8
9

Компания apple признала существование веб-краулера

  • Кирилл Ляпин

    Кирилл Ляпин

    Backend Developer
  • Design
  • 5 min read

  • May 12, 2015

    5 min read

Описание

Эта статья посвящена теме дизайна и его влиянию на наш взгляд на современный мир. В эпоху цифровых технологий дизайн становится неотъемлемой частью нашей повседневной жизни, оказывая влияние на наши восприятия, решения и даже настроение.

  • Поделиться

Компания apple признала существование веб-краулера

AppleBot – веб-краулер Apple, используется для сбора данных для Siri и Spotlight. Компания Apple признала существование веб-краулера после многочисленных разговоров по этому поводу. Apple добавил страницу, посвященную AppleBot в свой справочный центр. ап Apple придерживается правил robots.txt и мета-тегов robots. Если AppleBot не упоминается в robots.txt, Apple будет следовать указаниям для GoogleBot. Если же вебмастер желает заблокировать AppleBot и GoogleBot, для этого нужно будет заблокировать GoogleBot. Если со стороны AppleBot замечена необычная активнсть, связаться со специалистами компании по поводу этой проблемы можно по email: Apple-NOC@apple.com Через некоторое время после публикации информации об AppleBot, Apple Insider сообщил о том, что Apple «стремительно расширяет внутреннюю поисковую группу» для построения собственной версии поисковой системы на базе Spotlight.