有什么好的方法提高亚马逊 EC2 的上传速度

This topic created in 3310 days ago, the information mentioned may be changed or developed.

穷学生做深度学习，有 80 个 G 的数据需要上传。阿里云太贵了，所以选择了 AWS...但是速度有点感人... 希望大家能提供一个好的办法!

上传

深度学习

EC2

AWS

15 replies • 2017-04-24 23:08:13 +08:00

prondtoo

Apr 24, 2017 via Android

没钱还敢用 Aws ？我最怕这种按量收费的东西了

Hzzone

Apr 24, 2017

@prondtoo 相对来说 aws 要便宜得多：）

davidzhanwork

Apr 24, 2017 via Android

是本地上传到 ec2 还是 ec2 到其他呢?

后者可以开个速度快的 vps 中转一下

lyhiving

Apr 24, 2017 via Android

你的 ec2 在哪个区？最佳方案 GCP 开个 vps ，先将数据传到 GCP ，再同步到 EC2

davidzhanwork

Apr 24, 2017 via Android

后者 -> 前者

WilliamSang

Apr 24, 2017

可以使用基于 UDP 的，我以前用过穿过几个 TB 的数据： http://dev.cmcm.com/archives/184

Hzzone

Apr 24, 2017

@davidzhanwork 本地到 ec2

@WilliamSang 看起来很好，我还没试过，谢谢了

Hzzone

Apr 24, 2017

@WilliamSang 我是本地传到 ec2...

WilliamSang

Apr 24, 2017

@Hzzone 本地有外网 IP 的话很容易的。如果没有。。。
1. 使用 bz2 压缩，大幅减少体积
2. 上传到阿里云 OSS ，然后从国外拉取 OSS 数据，速度可以的

mianju

Apr 24, 2017

讲道理 aws 的 g2.2xlarge 速度还没有 750ti 快

visualwind

Apr 24, 2017

shaowsocks+final speed 试试

Jboys

Apr 24, 2017

选个快点的云主机，多压缩跟分片下。挂机。等国外上传完了，再传到 EC2 上，速度杠杠的~
或者可以按带宽开个国内的云主机，再传出去。开之前先测测速度。
青云按秒计费。

zhengxiaowai

Apr 24, 2017

aws 流量可不便宜。
国外大数据量，我之前是先传到七牛，然后再从七牛下载。。

Tink

PRO

Apr 24, 2017 via iPhone

本地传上去主要看你的上行吧

Alphabetcn

Apr 24, 2017 via Android

学生的话为啥不用教育网的 ipv6 ， 100M 上行不能更爽了