爱意满满的作品展示区。
binux

也来一发,豆瓣害羞组读图版

  •  4
     
  •   binux ·
    binux · Oct 26, 2014 · 26861 views
    This topic created in 4222 days ago, the information mentioned may be changed or developed.

    看到有人专名写一个爬虫,于是用手上的东西,做了一个这个东西。
    先直接上地址: https://f.binux.me/haixiuzu.html

    pyspider DEMO版 + 多说 做数据库 + 前端渲染一个瀑布流

    嘿,还真像那么回事有没有。

    那么问题来了,还有哪些免费的 KV 数据库,有 HTTP API 的,能公开读取数据的。
    多说老是转义导入的数据。。

    44 replies    2018-12-04 07:18:38 +08:00
    oojiayu
        1
    oojiayu  
       Oct 26, 2014
    赞一个
    ihacku
        2
    ihacku  
       Oct 26, 2014
    CouchDB?
    ChiangDi
        3
    ChiangDi  
       Oct 26, 2014
    豆瓣好奇怪,为什么那么多妹纸晒。。
    can
        4
    can  
       Oct 26, 2014
    不是说晚上管理员一下班,这组就……?
    binux
        5
    binux  
    OP
       Oct 26, 2014
    @ihacku 不想要自己搭啊
    Shared
        6
    Shared  
       Oct 26, 2014
    为什么有css和js文件不能加载,主页裸奔了
    jprovim
        7
    jprovim  
       Oct 26, 2014   ❤️ 2
    Firebase, 剛剛被google收購. @binux
    shoumu
        8
    shoumu  
       Oct 26, 2014
    看不到图啊
    binux
        9
    binux  
    OP
       Oct 26, 2014
    @Shared 反正我就是单文件,加载的CDN,打不开找又拍云
    @shoumu 你用 https 了吗
    shoumu
        10
    shoumu  
       Oct 26, 2014
    @binux 直接点的你给的那个地址
    shoumu
        11
    shoumu  
       Oct 26, 2014   ❤️ 1
    @binux
    控制台信息

    Failed to load resource: net::ERR_SSL_VERSION_OR_CIPHER_MISMATCH https://static.duoshuo.com/embed.unstable.js
    Uncaught ReferenceError: DUOSHUO is not defined haixiuzu.html:62
    douban
    binux
        12
    binux  
    OP
       Oct 26, 2014
    @shoumu 你浏览器的问题
    shakoon
        13
    shakoon  
       Oct 26, 2014
    不能翻页&说好的瀑布流呢?是因为采集数据还太少么
    flyphy
        14
    flyphy  
       Oct 26, 2014   ❤️ 1
    试试撸女神
    http://lunvshen.com
    binux
        15
    binux  
    OP
       Oct 26, 2014
    @shakoon 是兼容性bug吧,chrome是没问题的
    kmvan
        16
    kmvan  
       Oct 26, 2014
    是啥语言采集的?
    binux
        17
    binux  
    OP
       Oct 26, 2014
    gipsymoth
        18
    gipsymoth  
       Oct 27, 2014
    这个好
    muziyue
        19
    muziyue  
       Oct 27, 2014
    有没有能判断性别的图像处理方案……
    jacob
        20
    jacob  
       Oct 27, 2014
    害羞组是啥玩意,这些图看得我都害羞了- -
    lubuwei
        21
    lubuwei  
       Oct 27, 2014
    呃,下班再打开看看......
    shakespark
        22
    shakespark  
       Oct 29, 2014
    为啥里面还有丁丁...
    shakespark
        23
    shakespark  
       Oct 29, 2014
    理解了...各种晒10分钟的图被lz抓取了啊哈哈哈
    hydyy
        24
    hydyy  
       Oct 29, 2014
    。。。
    chilaoqi
        25
    chilaoqi  
       Oct 29, 2014
    这么多丁丁 大丈夫?
    binux
        26
    binux  
    OP
       Oct 29, 2014
    @chilaoqi 别人要发,而且不是发我这,数据也不存我这。。我有什么办法。。
    axe
        27
    axe  
       Oct 29, 2014
    害羞组是用来约约约的吗。。
    yangkeao
        28
    yangkeao  
       Oct 29, 2014
    我想知道多说做数据库是什么情况。。
    binux
        29
    binux  
    OP
       Oct 29, 2014
    @yangkeao 抓到一条数据之后,往多说上发一条评论,评论内容就是抓到数据。
    然后页面取最新评论就行了。
    gkuchan
        30
    gkuchan  
       Oct 29, 2014
    …… 能不能把女人删掉 搞一个只有男人的版本……
    Qulyf
        31
    Qulyf  
       Oct 30, 2014
    @gkuchan ←← 好像暴露了什么...
    alsotang
        32
    alsotang  
       Nov 1, 2014
    碉堡了
    2232588429
        33
    2232588429  
       Nov 2, 2014
    这个数据库是采到26号的?上限怎么定的?
    binux
        34
    binux  
    OP
       Nov 2, 2014
    @2232588429 我只采集了第一页,我是从26号开始采集的。
    wh1100717
        35
    wh1100717  
       Nov 20, 2014   ❤️ 1
    其实你这个还可以加以下功能:
    1. 定时check你抓下来的帖子是否删除,如果删除,则高亮显示(原因你懂的)
    2. 想办法用算法把广告过滤掉...
    3. 增加手动点击发豆油功能(原因你懂的)
    4. 增加几个组一起check好了==!

    我也写了个一个类似的东西...不过写完就觉得无趣懒得完善了,哈哈
    binux
        36
    binux  
    OP
       Nov 20, 2014
    @wh1100717 我就试试我的爬虫,一个晚上做的,我也懒得完善
    mnhkahn
        37
    mnhkahn  
       Feb 25, 2015
    大哥,你这个有些图多说那边没给你处理么?
    binux
        38
    binux  
    OP
       Feb 25, 2015 via Android
    @mnhkahn 处理什么
    lukew
        39
    lukew  
       Jan 15, 2016
    @binux
    好项目 最近需要搭建一个爬虫系统 果断上手!
    想问下 这个项目还是活的吧?
    binux
        40
    binux  
    OP
       Jan 15, 2016
    @lukew 没死
    lukew
        41
    lukew  
       Jan 18, 2016
    @binux 关于网站或者 app 的登录貌似文档中没有具体的描述
    能否加个微信?
    lukew
        42
    lukew  
       Jan 19, 2016
    @binux 如果要抓去 app 客户端,纯 http 的 api 接口,需要 https 的支持,登录这些操作
    是否合适用 pyspider ?
    binux
        43
    binux  
    OP
       Jan 19, 2016
    @lukew 没有跨任务会话管理, 需要你手动管理 cookie 保持登陆.
    zkeeper
        44
    zkeeper  
       Dec 4, 2018
    妈的来晚了, 啥都看不见
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1231 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 90ms · UTC 17:39 · PVG 01:39 · LAX 10:39 · JFK 13:39
    ♥ Do have faith in what you're doing.