爬虫需要稳定的代理，请大家支支招，谢谢了

im_v_v

我主要用于爬取一些wiki 和 国内的一些论坛，不是攻击。但是这些论坛都限制同一ip，在时间内访问次数。

所以，我想到，可能需要大量的代理，而“代理中国”提供的那些代理很不稳定。所以我想自己搞一点。

请问，从国外的BURST类似的ips，买vps，在加上一些固定ip，譬如100个ip，能解决我的需求吗？我该如何操作？

请大家帮我提供一些解决方案吧。谢谢。

另外，我朋友能提供一个服务器暂用，光纤4兆，4个固定ip，但是用了一个dlink的小型路由器，服务器在内网，用NAT，我看样子好像只能用1个ip，剩下的3个改怎么样利用呢？

就是4个ip都用上？我不太熟悉网络，谢谢各位了。

[ 本帖最后由 im_v_v 于 2010-4-2 11:18 编辑 ]

cpuer

思路上没有问题

wzwen

要求高……

im_v_v

原帖由 cpuer 于 2010-4-2 11:17 发表
思路上没有问题

cpuer老大，我该如何操作呢？譬如我现在4个ip，一条光纤，在内网的情况，我的路由器好像不支持动态nat。我想做软路由，请提供一个方案吧？什么环境+什么软路由，谢谢老大。

im_v_v

原帖由 Administrator 于 2010-4-2 11:20 发表
具体是什么程序？是否需要登录目标站点？

就是自己写的一个小爬虫，垂直某个行业网站，不需要登录站点，也许会有，但是只是ip变化就行了。

im_v_v

原帖由 Administrator 于 2010-4-2 11:24 发表
晕倒，自己写的程序完全可以通过代理IP去获取内容。

我现在是爬一些类似”代理中国”网站上的 提供的免费 代理，有匿名的。但是不稳定。而且量太少。一会就不能用了。
所以，我感觉有点不够用。想花点钱，求个稳，呵呵。

而国内的ip太贵了，200一个月，所以打算从国外找。

麻烦兄弟给我说说，我一条光纤，4个ip，我该怎么部署？