问问有什么源码能做爬虫云端数据处理吗

做只小母鸡 · 发表于 2020-11-20 17:37:50

我现在需要写一个软件进行爬虫商品的价格和名字和介绍

为了数据的准确性我要对商品的UID在云端检查是否入库

然后在进行采集商品信息入库云端并入库UID

然后对数据进行数据分析不知道有什么源码能有这种功能并能提供api方便对接

llmwxt · 发表于 2020-11-20 17:38:50

提示: 作者被禁止或删除内容自动屏蔽

做只小母鸡 · 发表于 2020-11-20 17:39:29

主要还是能方便我云端去重我也不知道该称呼这些功能类型的源码叫啥..只能问问各位大佬了

做只小母鸡 · 发表于 2020-11-20 17:40:38

软件我会写但是网页云端去重的我不会但是想要做云端来对商品UID去重入库不知道有没有这种类型源码

斌斌 · 发表于 2020-11-20 17:41:23

这不是easy

中国银行 · 发表于 2020-11-20 17:41:27

帮顶，业务范围之外，哈哈哈哈哈

tir · 发表于 2020-11-20 17:42:14

这个有点难度，加钱！

做只小母鸡 · 发表于 2020-11-20 17:56:12

tir 发表于 2020-11-20 17:42
这个有点难度，加钱！

我要采集的数据也就撑死也就十来万条不至于吧

Ticifer · 发表于 2020-11-20 18:31:04

都会写软件了，利用软件的语言写个去重就好了
需求还应该细致，加钱

橡树叶 · 发表于 2020-11-20 18:34:30

有开发能力的话自己去重呗。找别人写，别人问你要需求问着问着你自己也懂了该怎么处理，这不就很尴尬了

		自动登录	找回密码
密码			注册

llmwxt llmwxt 当前离线积分 28472	发表于 2020-11-20 17:38:50 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
llmwxt llmwxt 当前离线积分 28472
	回复支持反对举报

[Windows VPS] 问问有什么源码能做爬虫云端数据处理吗