内容简介：

这些巨头爬虫们现在怎么了？记忆中2022年之前的十几年，园子没有遇到过被巨头爬虫们爬宕机的情况，巨头们都懂得爱护，都懂得控制节奏，都懂得在爬网时控制并发连接数以免给目标网站造成过大压力。
从去年开始，巨头爬虫们开始变了。首先从中文巨头爬虫中的佼佼者——百度蜘蛛开始，变得只追求自己“飞流直下三千尺，疑是银河落九天”的畅快，而不顾是否给目标网站带来“狂风暴雨后的一片狼藉”。在2022年4月3日与5月4日百度蜘蛛的两次疯狂袭击之后，园子勇敢地说出了“不”——屏蔽了肆无忌惮的百度蜘蛛IP网段，而勇敢的代价是“不让疯爬，就给重罚”——园子被百度全面降权。
今年，被百度重罚后园子的唯一依靠——微软 Bin...

查看原文

? 【故障公告】被放出的 Bing 爬虫，又被爬宕机的园子