苹果AI内容抓取机器人被屏蔽
苹果AI内容抓取机器人被屏蔽
8月30日,《连线》杂志宣布了一篇博客文章,提醒了一个风趣的现象:不少干流媒体开端回绝苹果的数据抓取东西Applebot的拜访。Applebot初度进入大众视界是在2014年11月,随后苹果在2015年5月正式发布了这一技能。作为Applebot的升级版,Applebot-Extended在曩昔十年间继续抓取网页内容,旨在提高Siri和Spotlight查找等功能的体现。
近期的研讨显现,大都干流出书组织经过robots.txt文件来约束苹果的抓取行为。据统计,大约有6%到7%的高流量网站已阻挠了Applebot-Extended的拜访。另一项由Ben Welsh进行的研讨则指出,在他调查的网站样本中,有高达25%的网站对Applebot-Extended施行了屏蔽办法。此外,研讨还发现,OpenAI的爬虫在新闻网站中的遭受更为严峻,被53%的站点阻拦,而谷歌的Google-Extended爬虫也被43%的网站回绝。
《连线》剖析以为,虽然网站或许并不介怀苹果的智能查找触及它们的内容,但Applebot及其增强版之所以被较低份额的网站阻挠,首要是因为这些机器人的知名度相对较低,没有引起广泛的企业重视。
文章版权声明:除非注明,否则均为ZBLOG原创文章,转载或复制请以超链接形式并注明出处。
发表评论