通用图片爬虫

qianmianyao · 发表于 2021-10-28 16:41:21

本帖最后由 qianmianyao 于 2021-10-28 16:55 编辑

虽然可以前面发了几个爬全站的脚本，但是我觉得资源在精不在多，故而打算完成一个通用的套图爬虫，适配多个站点，可以一套一套的下载，而非爬取全站
由于每个站的规则不一样，需要我来写规则，大家可以提供站
站的要求：最好是一个单页面很多图的
目前适配的站点
https://telegra.ph/
https://girlofthehour.com/
https://everia.club/
有想要的站可以评论提交
本地网络有点问题，明天推送到github
站点可以在帖子里提交或者github的issues
python 开发，支持异步下载
github：https://github.com/qianmianyao/SimpleCrawler/issues

danielzi · 发表于 2021-10-28 16:48:49

先MARK

0048eca662ab154 · 发表于 2021-10-28 16:46:27

快进到免费放饭环节

战神赵日天 · 发表于 2021-10-28 16:47:51

套图的精髓是，无水印原图，成套系列
这种站很赚钱

iiii.im · 发表于 2021-10-28 16:47:53

感谢分享。大概方法是不是检测到图片格式的链接就加入到get

loveqianool · 发表于 2021-10-28 16:49:09

其实写个平台更好，类似蓝天采集器那样

Ticifer · 发表于 2021-10-28 16:59:08

支持

zhuzi · 发表于 2021-10-28 17:27:07

支持一下

孫笑川 · 发表于 2021-10-28 17:32:28

希望大佬搞个小草1024的爬虫

，目前市面的都不太好用。

三丫的 · 发表于 2021-10-28 17:44:11

怎么爬目录啊

		自动登录	找回密码
密码			注册

[疑问] 通用图片爬虫