宇宙主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

欧基零壹微头条IP归属甄别会员请立即修改密码
12
返回列表 发新帖
楼主: iuko

[Windows VPS] mjj看下这是啥爬虫蜘蛛,新站第一天撒了上万

[复制链接]
发表于 2021-3-30 14:41:48 | 显示全部楼层
会不会是你IP或域名 以前就被人惦记的
OXO 该用户已被删除
发表于 2021-3-30 14:48:29 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
 楼主| 发表于 2021-3-30 15:24:30 来自手机 | 显示全部楼层
citywar 发表于 2021-3-30 14:41
会不会是你IP或域名 以前就被人惦记的

新站第一天新域名
 楼主| 发表于 2021-3-30 15:30:46 来自手机 | 显示全部楼层
OXO 发表于 2021-3-30 14:48
如果是国内那几个蜘蛛 都有 user-agent 的,看 IP 没啥用

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36

没有蜘蛛标识,但是访问直接访问的内页,都是爬内页
发表于 2021-3-30 15:43:22 | 显示全部楼层
战神赵日天 发表于 2021-3-30 13:56
你如果放了百度统计,不建议封爬虫
为啥,会增加百度以及其他搜索引擎收录
我以前几个站,一年有几个站,每 ...

你的挂机ip具体是怎么操作呢?
发表于 2021-3-30 15:53:37 | 显示全部楼层
本帖最后由 战神赵日天 于 2021-3-30 15:54 编辑
没有的 发表于 2021-3-30 15:43
你的挂机ip具体是怎么操作呢?


打错字了,用的流量宝,之前挂了几百点,然后每天设置用几点刷网站ip,刷多了以后,收录就上来了
不算科学验证,至少是我的一种玄学做法
一般流量宝是1点1000ip,可以分时间分地点以及访问时常,ip基本都不同,1000ip估计也就几个是重复的
发表于 2021-3-30 16:05:14 | 显示全部楼层
可以用nslookup反查
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|宇宙主机交流论坛

GMT+8, 2024-10-30 19:25 , Processed in 0.063121 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表