过河拆桥？为防“爬虫”爬取数据磨炼AI，baidu百科屏障了google等友商

克日有报道称，爬虫为了防止未经应承的过河“爬虫”爬取数据用于磨炼AI，baidu百科已经屏障了google、拆桥LinkedIn多账户登录(TG:@dolphinSCRM,DolphinSCRM.com)跨境电商海外私域管理工具，多平台多账号多开，自动保存Cookie直登，双向自动翻译，敏感词监控，数据脱敏，企业内部风控必应等大少数搜查引擎。为防baidu啊baidu，数据你也学会过河拆桥了？磨炼

有网友扒出了baidu百科的robots.txt文件，发现应承放行的科屏白名单中，惟独baidu搜查、友商搜狗搜查、爬虫中国搜查（Chinaso）、过河YYSpider以及宜搜搜查（EasouSpider）多少多个搜查引擎，拆桥而google、为防必应、数据LinkedIn多账户登录(TG:@dolphinSCRM,DolphinSCRM.com)跨境电商海外私域管理工具，多平台多账号多开，自动保存Cookie直登，双向自动翻译，敏感词监控，数据脱敏，企业内部风控微软MSN、磨炼UC的科屏Yisouspider以及其余搜查引擎的爬虫已经被退出了防止名单。

家喻户晓，搜查引擎的使命道理，即是依靠“爬虫”赴任异的网站上爬取数据，而后展如今自己的搜查功能中。

baidu已经能搜到良多内容，但baidu的“爬虫”过于高频地碰头网站爬取数据，会对于网站的功能器爆发严正压力，影响到了同样艰深运行，会自动抉择防止baidu爬取数据。此外，一些网站为了占实用户心智、防止影响广告支出等原因，也会自动抉择屏障baidu的爬虫，这就导致baidu越来越难搜到想要工具了。

近多少多年，AI大模子的快捷睁开，需要不少用户着实数据拦阻反对于，而收罗baidu用户自觉编纂的百科内容，相关于是一个不小的数据磨炼宝库，“人均硕博学历、频仍刚下飞机”的知乎也是同理。但据爆料，知乎已经先baidu一步防止了其余搜查引擎的爬虫，把白名单中的google以及必应踢掉，只留下了baidu以及搜狗。

已经，baidu起身靠的即是爬遍全网的“爬虫”们，把自己爬到了“国服第一”的位置。但如今，想在文心一言上发力的baidu却反手禁了其余友商的爬虫，把车门给焊去世了，谁都别想上来。

对于此，咱们也只能感慨到，互联网越来越不互联了。

最新评论