宇宙主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

欧基零壹微头条IP归属甄别会员请立即修改密码
12
返回列表 发新帖
楼主: tiane12

被百度蜘蛛爬的太猛怎么办?

[复制链接]
 楼主| 发表于 2014-9-18 08:29:17 | 显示全部楼层
哎呀 发表于 2014-9-18 00:13
百度的站长工具里面可以设置蜘蛛抓取次数

感谢!
发表于 2014-9-18 09:39:03 | 显示全部楼层
“5分钟内,9200多次请求”除非你的站收录几千万,不然你就是被采集了。
 楼主| 发表于 2014-9-18 13:53:11 | 显示全部楼层
一灰 发表于 2014-9-18 09:39
“5分钟内,9200多次请求”除非你的站收录几千万,不然你就是被采集了。

收录45万,问题是,来源IP通过IP138查了,来源是百度蜘蛛。
发表于 2014-9-18 17:03:05 | 显示全部楼层
tiane12 发表于 2014-9-18 13:53
收录45万,问题是,来源IP通过IP138查了,来源是百度蜘蛛。

ip不一定准确的

用这个方法 http://niuzhan.org/thread-88-1-1.html
 楼主| 发表于 2014-9-18 20:50:57 | 显示全部楼层
一灰 发表于 2014-9-18 17:03
ip不一定准确的

用这个方法 http://niuzhan.org/thread-88-1-1.html

谢谢。查了,确实是百度。
名称:    baiduspider-123-125-71-87.crawl.baidu.com
Address:  123.125.71.87

非常感谢。
发表于 2014-9-18 22:49:06 | 显示全部楼层
tiane12 发表于 2014-9-18 20:50
谢谢。查了,确实是百度。
名称:    baiduspider-123-125-71-87.crawl.baidu.com
Address:  123.125.71.8 ...

去百度站长工具提交,说蜘蛛爬死了服务器,而且这个数量也不正常,差不多变成搜狗的流氓蜘蛛了。
发表于 2014-9-19 02:20:03 | 显示全部楼层
tiane12 发表于 2014-9-18 20:50
谢谢。查了,确实是百度。
名称:    baiduspider-123-125-71-87.crawl.baidu.com
Address:  123.125.71.8 ...

cpu能再升级下就不那么容易挂了,另外看下硬盘的状态
 楼主| 发表于 2014-9-19 10:50:10 | 显示全部楼层
Captain 发表于 2014-9-19 02:20
cpu能再升级下就不那么容易挂了,另外看下硬盘的状态

昨天已经反馈给百度了,等待处理。硬盘是刚换的新硬盘,应该没什么问题。
发表于 2014-9-19 12:42:27 | 显示全部楼层
你给我导点蜘蛛吧。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|宇宙主机交流论坛

GMT+8, 2024-10-30 09:35 , Processed in 0.058954 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表