【故障补牢】贪吃的 Bing 爬虫,限量供应的应对措施
内容简介:
相对于【故障公告】,【故障补牢】分享的是园子在发生故障后采取的亡羊补牢措施。
在上次被微软 Bing 爬宕机后(详见 【故障公告】被放出的 Bing 爬虫,又被爬宕机的园子),我们采取了2个应对措施,然后解除了对 Bing 爬虫的屏蔽。
措施1:限流——采用滑动窗口进行限流
我们之前采用的限流措施没有采用滑动窗口,只能防君子不能防小人,比如限制同一个IP一天只能请求2万次,但如果遇到大胃口的爬虫,1秒请求2万次,虽然没有超过限制,但服务器已趴下。
我们通过 ASP.NET Core 内置的 rate limiting middleware 进行滑动窗口限流,参考博文 ASP.NET Core ...
查看原文
暂无评论...