V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2099 days ago, the information mentioned may be changed or developed.
我在 vultr 上有个 VPS 专门爬虫一个网站保存成文件，然后提供 web 访问服务。最近发现这个网站的一个接口把境外 IP 都 ban 了，使用国内 IP 访问就没问题。
目前我的思路是：买一个国内的服务器，专门用来爬虫，爬完保存下来的文件 scp 到 vultr 服务器上。
这样就是增加了国内服务器的成本，国内服务器又比较贵，不知道大佬有没有更好的解决方案？
或者买个树莓派？
 |
1
biu7 Aug 10, 2020
买点代理不行么
|
 |
2
CriseLYJ Aug 10, 2020
楼上正解
|
 |
3
hugee Aug 10, 2020
原来就是你小子在爬我的站
|
 |
5
lxk11153 Aug 10, 2020
原来就是你小子在爬我的站
|
|
6
biu7 Aug 10, 2020
@livc #4 国内代理一般两类，一种直接卖给你短时（ 3-5min ）有效的 ip，比如几块钱 1000 个之类的，一种是直接转发你的请求，按请求数算钱。可以看下讯代理、阿布云之类的（非广告）
|
 |
7
em70 Aug 10, 2020
告诉你一个诀窍啊,阿里云有一种抢占式 ECS,才几毛钱一个小时,因为有百分之几的几率会被释放,不适合做长期服务,却是爬虫的天然选择,随用随买,不用就释放
|
|
10
em70 Aug 10, 2020
刚帮你看了下,乌兰察布机房最便宜,才 8 分钱一个小时,北京 1 毛 3
|
 |
12
linuxvalue Aug 10, 2020
代理 ip
|
 |
13
heiheidewo Aug 10, 2020
原来就是你小子在爬我的站
|
 |
14
Soar360 Aug 10, 2020
原来就是你小子在爬我的站
|
 |
15
nightwitch Aug 10, 2020
|
 |
16
murmur Aug 10, 2020
你现在买了境内机房，下次他把各大云的 ip 也禁了
|
 |
17
121121121 Aug 10, 2020
代理服务器
|
 |
18
ipoh Aug 10, 2020
你需要淘宝"ADSL VPS" 每几分钟自动重播一次
封 ip 也不怕 |
 |
19
natsji Aug 10, 2020 via Android
你用辣鸡阿里清凉云的香港或者新加坡服务器，IP 地址会被很多 ip 库识别成大陆的。
|
 |
20
locoz Aug 10, 2020 via Android
你就不能直接买代理或者在爬的时候开点国内云服务器做代理服务器吗…
|
 |
21
wangyzj Aug 10, 2020
我之前的做法是去淘宝上买一个可以随意换 IP 的机器
|
 |
22
pagxir Aug 10, 2020 via Android
可以用阿里云或者其他云的函数计算的，支持 web 请求，选择国内的节点即可
|
 |
23
newee Aug 10, 2020 via iPhone
哪里的海外 ip 比较便宜靠谱，最近抓一个海外站点，访问几百次就会被禁。有啥供应商比较实惠的
|
 |
24
BillowSky Aug 10, 2020 via iPhone
人家禁你可能你对人家造成了干扰，要不然也不会费力气禁你。
|
 |
25
abersheeran Aug 10, 2020
原来就是你小子在搞事情。
|
 |
26
sunziren Aug 10, 2020
原来就是你小子在爬我的站
|
 |
27
suuuch Aug 10, 2020 via iPhone
这个感觉像是你的爬虫对别人照成影响了，换 IP 之后应该会升级反爬，
|
 |
28
shakaraka PRO 原来就是你小子在爬我的站
|
 |
29
jones2000 Aug 10, 2020
直接买云抓取的服务不就可以了。 还自己爬多麻烦。
|
 |
30
adoula Aug 10, 2020
一般不是国外服务器比较贵吗
|
 |
31
smplesugar Aug 10, 2020
原来就是你小子在爬我的站
|
 |
32
zhiiker Aug 10, 2020
|
 |
33
unclemcz Aug 10, 2020
淘宝买个玩客云，50 包邮，刷成 armbian 然后跑爬虫，功耗 6-10 瓦吧。
不多说了，再说又止不住手打开淘宝买一个了。 |
 |
34
g079708 Aug 10, 2020 via iPhone
可以试试这个，独享拨号代理 IP 池；
http://www.kuainiaoip.com/store/exclusive-adsl.html |
 |
35
h4de5 Aug 10, 2020
github 上面大把的免费的国内的机器。你不拿来用。很多大佬都拿来挖矿了。
|
 |
36
ClericPy Aug 10, 2020
这么在乎价格成本的话... 白瓢免费代理吧, 选普匿和高匿的, 然后走生产者消费者模式, 慢慢抓慢慢跑
|
 |
37
HYisen Aug 11, 2020
买个树莓派吧，蹭家用网络是真的便宜。
|
 |
38
woodnaonly Sep 21, 2020
@h4de5 关键字是什么
|
|
39
woodnaonly Sep 21, 2020
@wangyzj 老哥来个关键字
|
|
40
wangyzj Sep 21, 2020
@woodnaonly #39 vps
|
Select Language