问问有什么源码能做爬虫云端数据处理吗

做只小母鸡 6天前 5

我现在需要写一个软件进行爬虫 商品的价格和名字和介绍
为了数据的准确性 我要对商品的UID在云端检查是否入库
然后在进行采集商品信息入库云端 并入库UID
然后对数据进行数据分析  不知道有什么源码能有这种功能并能提供api方便对接
最新回复 (11)
  • llmwxt 6天前
    引用 2
    帮顶,这个要采集大佬们接单了!
  • 楼主 做只小母鸡 6天前
    引用 3
    主要还是能方便我云端去重 我也不知道该称呼这些功能类型的源码叫啥..只能问问各位大佬了
  • 楼主 做只小母鸡 6天前
    引用 4
    软件我会写但是网页云端去重的我不会 但是想要做云端来对商品UID去重入库 不知道有没有这种类型源码
  • 斌斌 6天前
    引用 5
    这不是easy
  • 中国银行 6天前
    引用 6
    帮顶 ,业务范围之外,哈哈哈哈哈
  • tir 6天前
    引用 7
    这个有点难度,加钱!
  • 楼主 做只小母鸡 6天前
    引用 8
    tir 发表于 2020-11-20 17:42
    这个有点难度,加钱!
    我要采集的数据也就撑死也就十来万条不至于吧
  • Ticifer 6天前
    引用 9
    都会写软件了,利用软件的语言写个去重就好了
    需求还应该细致,加钱
  • 橡树叶 5天前
    引用 10
    有开发能力的话自己去重呗。找别人写,别人问你要需求问着问着你自己也懂了该怎么处理,这不就很尴尬了
  • xcpan710 5天前
    引用 11
    连数据库呗
  • tkn 5天前
    引用 12
    去重,手写一个分布式布隆过滤器,提供一个API调用,不就是云端去重了吗
  • 游客
    13
返回