V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
chinafengzhao
V2EX  ›  云计算

5T 的 MySQL 数据上云?如何做才能更好?

  •  
  •   chinafengzhao · Nov 25, 2020 · 6035 views
    This topic created in 1993 days ago, the information mentioned may be changed or developed.
    由于架构和历史原因,公司在本地机房部署 MySQL 做数据仓库,主要是 OLAP 的业务,跑存储过程和 ETL 做数据清洗。单实例建的 MySQL,里面各种中文表名和各种大宽表(建表和索引也没有完全符合 OLTP 的最佳实践),数据量日积月累,现在有 100 多个 schema,单实例数据量差不多有 5T 了,运维起来非常吃力。现在公司准备上云,估计还是这套架构。
    33 replies    2020-12-10 11:25:18 +08:00
    snail00
        1
    snail00  
       Nov 25, 2020
    有 5t 的数据量, 其他周边服务应该也要陆续上云, 最简单的就是联系云厂商会有专人对接出方案的.
    cccp2020
        2
    cccp2020  
       Nov 25, 2020
    买云服务器,然后买 rds 什么的,发工单就行,大客户他们有专人解决,你可以看看我的历史帖子,有优惠券的购买 rds
    opengps
        3
    opengps  
       Nov 25, 2020 via Android   ❤️ 2
    快递硬盘
    mitsuhasanye
        4
    mitsuhasanye  
       Nov 25, 2020   ❤️ 1
    让乙方出方案更保险,肯定不止你一家有过这么多数据
    iphoneXr
        5
    iphoneXr  
       Nov 25, 2020   ❤️ 1
    买阿里云 polardb 吧,兼容 mysql,不用去管存储空间用量了。
    chinafengzhao
        6
    chinafengzhao  
    OP
       Nov 25, 2020
    @iphoneXr 完全兼容吗?这个主要是 OLAP 业务,跑各种存储过程。polardb 太贵了啊
    mahone3297
        7
    mahone3297  
       Nov 25, 2020
    @iphoneXr 请教下, polardb,rds,oceanbase 的区别是什么?
    buaacss
        8
    buaacss  
       Nov 25, 2020
    做一个点对点 vpn 连到本地机房,然后做一个 dts 把数据全量同步过去,并设置增量同步,最后切 dns 同时把老数据库上的账号都设置为只读
    chinafengzhao
        9
    chinafengzhao  
    OP
       Nov 25, 2020
    @iphoneXr 我也想用 polardb,不想折腾那么多,但是我们本地资源就实在是太贵了
    orclcast
        10
    orclcast  
       Nov 25, 2020
    走线下吧
    iphoneXr
        11
    iphoneXr  
       Nov 25, 2020 via iPhone
    @chinafengzhao 先看好不好使,贵不贵的问题有办法解决,一次性买 3 到 5 年,再走个代理商回扣啥的,算下来很便宜。自己用 ecs 来搭建那种双节点也差不多价钱,不贵的。
    第二个 配合 dms 做数据库管理,das 做数据库优化监控(自动限流、索引创建删除、扩容节点等),dts 做数据同步等
    iphoneXr
        12
    iphoneXr  
       Nov 25, 2020 via iPhone
    @mahone3297 我觉得没啥区别,感觉更像迭代产品的关系
    digitv
        13
    digitv  
       Nov 25, 2020
    @iphoneXr 区别大了啊,这几个形态完全不同。polardb 是基于共享存储方案的,可以快速扩容 ro 节点。rds 更接近原生 mysql 。这两者都是 100%兼容 mysql 。ob 是分布式数据库,完全自研,只能说兼容绝大多数 mysql,主要场景争对金融级数据库,一般的应用不适合
    ifuture
        14
    ifuture  
       Nov 25, 2020
    分而治之呗,100 个 schema,单个 schema 也就不大了,一个一个迁移,迁移以后,再把迁移期间原来系统的数据增量同步过去
    iphoneXr
        15
    iphoneXr  
       Nov 25, 2020 via iPhone
    @dynastysea 哈哈哈 我承认我对第二个问题有点张口就来了。不过我当时想的是对于 java 程序来说,没区别。所以我还是坚持我的说法。
    springz
        16
    springz  
       Nov 25, 2020
    为什么没人推荐 TiDB,推荐下。
    springz
        17
    springz  
       Nov 25, 2020
    TiDB 还有 TiFlash 和 TiSpark,OLAP 场景多合适。
    xuanbg
        18
    xuanbg  
       Nov 25, 2020
    阿里云有个数据迁移工具的,配好了让它跑就行了。5T 跑个 10 来天总能跑完的吧。
    digitv
        19
    digitv  
       Nov 25, 2020
    @xuanbg 哈哈,你是看不起阿里云? 5T 这么点数据量都要跑 10 天?
    threeEggs123
        20
    threeEggs123  
       Nov 25, 2020 via Android
    aws snowball🤓
    brendanliu
        21
    brendanliu  
       Nov 25, 2020
    快递硬盘吧 TB 级别的自己上传费时费力 可能还会出错 快递硬盘期间的增量数据最后再使用官方的迁移工具搞一下
    xuanbg
        22
    xuanbg  
       Nov 25, 2020
    @dynastysea 我是怕楼主本地机房是小水管啊
    Weixiao0725
        23
    Weixiao0725  
       Nov 26, 2020
    买云服务器,搭建 TiDB 集群,自己写个程序慢慢往里面导呗
    hongzai118
        24
    hongzai118  
       Nov 26, 2020
    需要采购阿里云 华为云 腾讯云 可以联系我 我这边给你全网最低额外返现优惠 vx:gome3000
    stranger75
        25
    stranger75  
       Nov 26, 2020
    我们这边可以出架构方案和技术售后,老哥需要的话联系我
    @chinafengzhao
    janxin
        26
    janxin  
       Nov 26, 2020
    花钱买方案?
    IDAEngine
        27
    IDAEngine  
       Nov 26, 2020 via iPhone
    用亚马逊 aurora 呀,国内版的还不错,而且都是企业用户
    whx20202
        28
    whx20202  
       Nov 26, 2020
    阿里云有个 dts,可以看一下
    freecloud
        29
    freecloud  
       Nov 26, 2020
    /t/729386
    可以联系我,我帮出架构和方案。
    way2explore2
        30
    way2explore2  
       Nov 26, 2020
    @IDAEngine 这个情况 Aurora 很可能或者不久之后也会吃力,最好是直接 redshift

    aurora 不是很适合 data warehouse
    way2explore2
        31
    way2explore2  
       Nov 26, 2020
    联系我出方案也行。 哈哈哈
    lance6716
        32
    lance6716  
       Nov 26, 2020 via Android
    @Weixiao0725 有 tidb-lightning,配置合适的话 200G/h 吧,比自己写快
    Svalues
        33
    Svalues  
       Dec 10, 2020
    @dynastysea 可能还不止,考虑一下磁盘的 IO
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3350 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 159ms · UTC 12:45 · PVG 20:45 · LAX 05:45 · JFK 08:45
    ♥ Do have faith in what you're doing.