Home Sign Up Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
lusin
V2EX  ›  程序员

请问大量的数据收集常用的技术有哪些？

  •   
  •   lusin · May 8, 2012 · 3575 views
    This topic created in 5128 days ago, the information mentioned may be changed or developed.
    比如GOOGLE购物频道这样的，一般用什么技术实现呢？
  • Google
  • 技术
  • 频道
    2 replies  •  1970-01-01 08:00:00 +08:00
    sohoer
        1
    sohoer  
       May 8, 2012   ❤️ 1
    就是所谓的垂直搜索吧，
    或者用采集器实现，
    或者自己写
    http://www.searchtb.com/2011/07/%E5%BF%AB%E9%80%9F%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%8A%93%E5%8F%96%E9%9B%86%E7%BE%A4.html
    docete
        2
    docete  
       May 8, 2012   ❤️ 1
    你说的是网络爬虫吧。一般会用开源方案做二次开发。scrapy用的人比较多。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2900 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 07:45 · PVG 15:45 · LAX 00:45 · JFK 03:45
    ♥ Do have faith in what you're doing.