V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
exyrin
V2EX  ›  问与答

传统业务应用数据应该如何同步到阿里云的 maxcompute?

  •  
  •   exyrin · Jul 20, 2021 · 1170 views
    This topic created in 1755 days ago, the information mentioned may be changed or developed.
    项目背景

    传统业务应用 使用的是 Oracle 数据库 单表 10 亿的订单数据 订单状态包含 20 个节点
    每日新增 150 万到 250 万的数据 数据插入 /更新次数大概 2500 万
    部门内决定使用阿里云的数据组件建设数据大屏 供业务运营提供数据决策
    已开通 datahub maxcompute 等组件

    现在遇到问题,存量数据及实时增量数据要如何同步到 datahub 及 maxcompute 上?
    由于业务应用不可能停机维护 数据表的插入与更新也不可能停 暂时没找到好办法实现数据同步
    (业务系统估计还要跑两三年 改造难度大)
    是否有同行前辈遇到过这种情况?
    3 replies    2021-07-21 08:56:55 +08:00
    Morriaty
        1
    Morriaty  
       Jul 20, 2021
    在这里问,不如直接去阿里云提工单啊,买了他们服务,现在你们才是甲方爸爸
    exyrin
        2
    exyrin  
    OP
       Jul 20, 2021
    @Morriaty 也想参考下遇到类似情况的前辈是怎么处理的
    IITII
        3
    IITII  
       Jul 21, 2021 via Android
    流式,就行了,flink 啥的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3879 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 04:47 · PVG 12:47 · LAX 21:47 · JFK 00:47
    ♥ Do have faith in what you're doing.