小弟现在有个 DigitalOcean 的 VPS ，放 blog 的。
看了看 DO 的条款，貌似是禁止用蜘蛛去抓网站的。
难道要用树莓派 24h 在家里挂着？
通过以下 Referral 链接购买 DigitalOcean 主机，你将可以帮助 V2EX 持续发展
› DigitalOcean - SSD Cloud Servers
This topic created in 3894 days ago, the information mentioned may be changed or developed.
 |
1
onlyxuyang Sep 15, 2015
买个便宜的独立 server... 另外...DigitalOcran 做 blog 是不是太奢侈了......
|
 |
2
msg7086 Sep 15, 2015
蜘蛛爬虫一般都是和灰产挂钩，人家怕你万一干什么坏事他自己要倒楣，所以一般都会禁掉。
可以找那种不管你是否违法的宽松厂商。 （比如 CC 网络的，比如欧洲小国的 |
 |
3
sefemp Sep 15, 2015
限制你流量就行了，还管你爬虫？
|
 |
4
ianisme Sep 15, 2015
独服
|
 |
5
Moker Sep 15, 2015
表示 DO 开了爬虫好几个月还没被封
不过可能爬的内容不多吧。。一个是 lofter 某些 BLOG 还有 ins 之类 |
|
6
onlyxuyang Sep 15, 2015
其实是看爬虫怎么写,一般 VPS 会监视端口数... 爬虫同时开的线程少抓取的线程少的话,服务商根本就不知道是不是爬虫，但是如果想做个高效的话，大量开线程并行抓取是不可避免的，那样端口数就会开很多，会被 vps 服务商 warning...
不过实话实说啊~ 只要做的不是很明显.... vps 服务商鬼知道你是普通程序在 run 还是爬虫啊....除非服务商闲的蛋疼追踪每一个出去的连接的对端 ip |
 |
7
wgf2008 Sep 16, 2015
正好有 2 欧的不要了，你要不要？
|
 |
8
sinxccc Sep 16, 2015
貌似 Linode 管得很松。
|
Select Language