frogex's recent timeline updates frogex's recent timeline updates |
frogexV2EX member #368733, joined on 2018-12-07 12:03:46 +08:00 |
frogex's recent replies
@xiao38245
手机淘宝是二进制的协议吧，要破协议，这个我没经验。而且直接抓接口的方法淘宝随便封更容易，感觉还是模拟人的操作稍微靠谱点
手机淘宝是二进制的协议吧，要破协议，这个我没经验。而且直接抓接口的方法淘宝随便封更容易，感觉还是模拟人的操作稍微靠谱点
@IWSR
那能怎么办？讨论爬虫的帖子超级多，可讨论反爬的实在太少了，工作这么久身边也基本没一个人做过这些的
那能怎么办？讨论爬虫的帖子超级多，可讨论反爬的实在太少了，工作这么久身边也基本没一个人做过这些的
@dengtongcai
请看全文，不仅是登陆，是要长期稳定的爬，且能过各种滑块，目前最终方案在 23F， 放 win 虚拟机跑了
请看全文，不仅是登陆，是要长期稳定的爬，且能过各种滑块，目前最终方案在 23F， 放 win 虚拟机跑了
@dengtongcai
爬简单，要能稳定长期、全自动化、有效的爬才难啊
爬简单，要能稳定长期、全自动化、有效的爬才难啊
@yinaqu
淘宝检测了什么我不确定是不是只在 sufei_data 那个 js 里，从我分析看，至少有检测了 10 个函数，至少 headless 都 pass 了和非 headless 一样的结果。其他的实在看不下去了，都是混淆过的代码，命名 abcdefg，函数各种混着赋值，似乎要人肉维护一个函数调用关系
淘宝检测了什么我不确定是不是只在 sufei_data 那个 js 里，从我分析看，至少有检测了 10 个函数，至少 headless 都 pass 了和非 headless 一样的结果。其他的实在看不下去了，都是混淆过的代码，命名 abcdefg，函数各种混着赋值，似乎要人肉维护一个函数调用关系
@soulmine
我也知道，公司安全的负责人也说，你一个人怎么能应付一个团队，不要硬肛，要想别的办法，但什么大淘客还是不行啊，搜不到我要的。 但这爬东西又是公司必须的任务，之前从来没搞过，忧虑了好久，总没彻底去解决。
淘宝也有付费 api，不过 leader 还是希望能神不知鬼不觉的用爬虫比较好
我也知道，公司安全的负责人也说，你一个人怎么能应付一个团队，不要硬肛，要想别的办法，但什么大淘客还是不行啊，搜不到我要的。 但这爬东西又是公司必须的任务，之前从来没搞过，忧虑了好久，总没彻底去解决。
淘宝也有付费 api，不过 leader 还是希望能神不知鬼不觉的用爬虫比较好
@lkwfive
没试过这个，有空试下吧，不过用什么工具 taobao 应该还是都会检测的
没试过这个，有空试下吧，不过用什么工具 taobao 应该还是都会检测的
@yinaqu
工作很多年了，90%时间写 C++
工作很多年了，90%时间写 C++
@yumenlong
不会 pyqt，不过应该不只是 selenium 的问题，光看 taobao 的 js 就有 chromedriver 的指纹检测
不会 pyqt，不过应该不只是 selenium 的问题，光看 taobao 的 js 就有 chromedriver 的指纹检测
@yangsi
当然可以，主要是不能确定靠什么检测的，试过 PhantomJS 也是不行
当然可以，主要是不能确定靠什么检测的，试过 PhantomJS 也是不行
Select Language