V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
airqj
V2EX  ›  程序员

抓了点知乎用户数据,打算分享给各位兄弟

  •  
  •   airqj · Sep 16, 2016 · 8125 views
    This topic created in 3519 days ago, the information mentioned may be changed or developed.

    大概 5W 个知乎用户的 500 条动态
    不知道放在什么地方合适呢?不想放百度网盘,自己的 vps 流量硬盘也不够。。。。
    另外 把这些数据公开会不会被知乎喝茶?

    49 replies    2016-09-24 14:44:10 +08:00
    abelyao
        1
    abelyao  
       Sep 16, 2016 via iPhone
    放 LeanCloud 吧,每月有 100 万次免费的数据接口调用,或者全部转为静态数据后存储在 又拍云 七牛。
    a87150
        2
    a87150  
       Sep 16, 2016
    有什么用?
    ooh
        3
    ooh  
       Sep 16, 2016
    知乎网管正在拨打东北黑社会小哥电话 ing 🤣
    airqj
        4
    airqj  
    OP
       Sep 16, 2016
    @a87150 兄弟 我把计算机话题下的所有子话题的最佳回答者的动态都给抓下来了
    有没有用就看你自己了
    用户推荐什么的
    airqj
        5
    airqj  
    OP
       Sep 16, 2016
    @abelyao 多谢兄弟 我试一下
    URgoy
        6
    URgoy  
       Sep 16, 2016 via Android
    不知道。
    youmualone
        7
    youmualone  
       Sep 16, 2016   ❤️ 1
    Disallow: /login
    Disallow: /logout
    Disallow: /resetpassword
    Disallow: /terms
    Disallow: /search
    Disallow: /notifications
    Disallow: /settings
    Disallow: /inbox
    Disallow: /admin_inbox
    Disallow: /*?guide*
    Disallow: /people/*-*-*-*
    lslqtz
        8
    lslqtz  
       Sep 16, 2016
    我想想哈。。
    大小多大?
    rhen
        9
    rhen  
       Sep 16, 2016 via Android
    支持,不过 5w..根本看不完
    airqj
        10
    airqj  
    OP
       Sep 16, 2016
    @lslqtz 处理一下估计有 2G 左右
    恢复成真正的数据十几个 G
    airqj
        11
    airqj  
    OP
       Sep 16, 2016
    @rhen 这不是用来看的
    用来做机器学习用户推荐之类的
    lll9p
        12
    lll9p  
       Sep 16, 2016
    抓情感类或者别的很喜欢讲故事的话题更好哈,用 RNN 训练之后输出一些上知乎看看得多少赞
    lslqtz
        13
    lslqtz  
       Sep 16, 2016
    @airqj lzma 压缩神器试试看
    lslqtz
        14
    lslqtz  
       Sep 16, 2016
    我找到了,你可以试试看 daocloud 。
    没找到说限制带宽和流量的,但是我找到了存储空间是需要 1x 的容量,默认搞定后是有 2x 的容量,搞微信还有 3x 。
    其中 1x 可以开个 docker , 1x 可以开 10g 的存储空间,就是注意优化和经常登录,这玩意容易休眠,也容易内存爆掉挂掉。
    如果怕内存挂掉可以去搞微信,再来个 1x 加内存。
    建议用 lzma 压缩,否则上传速度感人。
    http://233.dog/f_40127258.png
    http://233.dog/f_29750671.png
    http://233.dog/f_48875122.png
    zhouzb889
        15
    zhouzb889  
       Sep 16, 2016
    忘了乌云和世纪佳缘的故事了吗?
    airqj
        16
    airqj  
    OP
       Sep 16, 2016
    @lll9p 原本是打算把爬虫放到 github 上有兴趣的人把数据爬了就 PR 一下
    不过目前看来不太合适
    airqj
        17
    airqj  
    OP
       Sep 16, 2016
    @zhouzb889 我这东西又不是用来盈利的
    再者爬虫爬下来的 应该不会有什么事吧?
    airqj
        18
    airqj  
    OP
       Sep 16, 2016
    @lslqtz 多谢兄弟
    明天试试
    lslqtz
        19
    lslqtz  
       Sep 16, 2016
    @airqj 如果分卷的话你可以用 oschina ,速度飞快,上传限制 1G ,分卷用 999M 就好。
    http://osu.acgvideo.cn/songs/Chuunibyou-1.mp3
    viko16
        20
    viko16  
       Sep 16, 2016 via Android
    @lslqtz 图床域名好赞
    lslqtz
        21
    lslqtz  
       Sep 16, 2016   ❤️ 2
    @viko16 http://myloli.club ,去用吧。
    顺便吐槽一下,上次写代码测试,因为用客户端删表麻烦,脑抽直接把数据库清空了,备份不太及时,结果大部分的记录炸了没法管理 2333 。
    7sDream
        22
    7sDream  
       Sep 16, 2016   ❤️ 1
    https://zhuanlan.zhihu.com/p/20828854

    很早之前抓了 300w 知乎活跃用户的基础数据……至今不知道往哪放……
    airqj
        23
    airqj  
    OP
       Sep 16, 2016
    @7sDream 爬数据用的是兄弟你的爬虫 哈哈
    wizardforcel
        24
    wizardforcel  
       Sep 16, 2016 via Android
    有小黄文么😂😂😂
    7sDream
        25
    7sDream  
       Sep 16, 2016
    @airqj

    这 TM 就尴尬了 23333 。

    不过自己的项目有人用感觉还是挺好的哈,虽然我项目的定位并不是爬虫……尴尬。
    ovear
        26
    ovear  
       Sep 16, 2016
    mega 盘挺不错的啊。。
    abelyao
        27
    abelyao  
       Sep 17, 2016   ❤️ 1
    @7sDream 有意思,分享给了很多非互联网行业的朋友,很直观的表现了 “数据分析” 的应用和价值
    7sDream
        28
    7sDream  
       Sep 17, 2016
    @abelyao 谢谢支持~~
    jiaots
        29
    jiaots  
       Sep 17, 2016
    @7sDream @airqj 哥们 我想抓点特定网站的数据,能不能加我 QQ 858 82 70 900
    andyfan
        30
    andyfan  
       Sep 17, 2016 via Android
    马克等地址
    ryd994
        31
    ryd994  
       Sep 17, 2016 via Android
    楼主你放吧,我服务器不限流量给你转好了
    主要问题是………预计会很慢
    megadrive 也可以
    ryd994
        32
    ryd994  
       Sep 17, 2016 via Android
    也可以考虑 BT ,人多点立刻就快了
    prefere
        33
    prefere  
       Sep 17, 2016
    挂自己服务器上,用迅雷下载一次。然后删掉自己服务器上的内容。
    别人想下的时候直接用迅雷下就可以了,
    以前看别人这么搞过,不知道现在还能不能用。
    hard2reg
        34
    hard2reg  
       Sep 17, 2016
    @prefere 然后就被举报了
    shiji
        35
    shiji  
       Sep 17, 2016
    我 Linode 还剩 8T 流量,需要帮忙么?
    airqj
        36
    airqj  
    OP
       Sep 17, 2016
    @ryd994
    @prefere
    @shiji
    主要是怕被请去喝茶
    Ouyangan
        37
    Ouyangan  
       Sep 17, 2016
    上次爬了三十万....一直扔硬盘
    shiji
        38
    shiji  
       Sep 17, 2016 via Android
    @airqj 实在不行遮盖住部分用户名,这样基本没啥毛病
    prefere
        39
    prefere  
       Sep 17, 2016
    要不你看看能不能塞谷歌网盘里
    ixinshang
        40
    ixinshang  
       Sep 17, 2016 via Android
    里面的段子不错
    timestamp
        41
    timestamp  
       Sep 17, 2016
    chenxx
        42
    chenxx  
       Sep 17, 2016
    @airqj 能提供下爬虫吗,我想学习一下
    airqj
        43
    airqj  
    OP
       Sep 17, 2016 via Android
    @chenxx 可以去看看 7sDream 大大的爬虫
    chenxx
        44
    chenxx  
       Sep 17, 2016
    @airqj 在哪,我现在碰到的问题是伪装浏览器没成功,不知道是不是 headers 没写对
    airqj
        45
    airqj  
    OP
       Sep 17, 2016 via Android
    @chenxx 兄弟找代码不是应该上 github 吗………
    lll9p
        46
    lll9p  
       Sep 17, 2016
    哦哦对,可以放 Btsync 啊~
    @airqj
    chuhemiao
        47
    chuhemiao  
       Sep 17, 2016
    abelyao
        48
    abelyao  
       Sep 17, 2016
    @jiaots 想抓啥?
    googlefans
        49
    googlefans  
       Sep 24, 2016
    怎么抓的? zhihu 没防抓措施?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   954 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 80ms · UTC 19:31 · PVG 03:31 · LAX 12:31 · JFK 15:31
    ♥ Do have faith in what you're doing.