mjj看下这是啥爬虫蜘蛛，新站第一天撒了上万

iuko · 发表于 2021-3-30 13:25:28

哪位mjj看下这是啥爬虫，河南跟北京这个第一天上线直接爬，用不用屏蔽

身份证 · 发表于 2021-3-30 13:26:28

肯定屏蔽啊

叶子 · 发表于 2021-3-30 13:27:03

图看不清楚

我是坏虫 · 发表于 2021-3-30 13:31:16

提示: 作者被禁止或删除内容自动屏蔽

iuko · 发表于 2021-3-30 13:33:11

叶子发表于 2021-3-30 13:27
图看不清楚

河南111.7.100* 跟北京的36.110.199.*

pxy185 · 发表于 2021-3-30 13:55:03

图片看不清楚欢迎用我图床

显示全部楼层 · 发表于 2021-3-30 13:55:46

提示: 作者被禁止或删除内容自动屏蔽

我是高富帅 · 发表于 2021-3-30 13:56:28

先要判断一下真假蜘蛛。

如果是真蜘蛛不用屏蔽，假蜘蛛则建议屏蔽

高频率的抓取请求对速度有影响。

战神赵日天 · 发表于 2021-3-30 13:56:50

你如果放了百度统计，不建议封爬虫
为啥，会增加百度以及其他搜索引擎收录
我以前几个站，一年有几个站，每个站3000+ip
就是自己用的挂机ip每天大量访问，增加收录和权重

iuko · 发表于 2021-3-30 14:23:44

我是高富帅发表于 2021-3-30 13:56
先要判断一下真假蜘蛛。

如果是真蜘蛛不用屏蔽，假蜘蛛则建议屏蔽

肯定不是搜索爬虫，群里问了一个人说北京36是安全爬虫，然后问啥安全没回复

		自动登录	找回密码
密码			注册

我是坏虫我是坏虫当前离线积分 22377	发表于 2021-3-30 13:31:16 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
我是坏虫我是坏虫当前离线积分 22377
	回复支持反对举报

Fei 该用户已被删除	发表于 2021-3-30 13:55:46 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
Fei 该用户已被删除
	回复支持反对举报

[Windows VPS] mjj看下这是啥爬虫蜘蛛，新站第一天撒了上万