zhuanggu
V2EX  ›  问与答

你们公司的调度系统用 Azkaban 的多还是 airflow

  •  
  •   zhuanggu · Dec 1, 2018 · 6110 views
    This topic created in 2723 days ago, the information mentioned may be changed or developed.

    如题。开源的大概就这两个比较常见了吧。

    我们有一段时间用自研的调度系统,但是需要专门的开发成本。

    4 replies    2019-10-08 17:50:50 +08:00
    monsterxx03
        1
    monsterxx03  
       Dec 1, 2018
    用过 airflow, 但后来发现内部 task 的依赖关系没那么复杂, 也没分布式和可视化的需求, 想维护成本少点, 最后还是自己写了个简单的. 业务复杂的话 airflow 挺够用的.
    wibile
        2
    wibile  
       Dec 1, 2018
    多节点 airflow 好一些,单节点 azkaban 更方便。
    airflow 有点重,beat 那块很占 cpu,时间调大效果也不理想。azkaba solo 模式很方便,多节点模式看不到下面节点状态,slave 监听端口配置比较坑。不是还有个 go 版本的 cron 吗?
    zhuanggu
        3
    zhuanggu  
    OP
       Dec 1, 2018
    之前用 python 写过调度,不过没有做成 web 界面话配置。
    aitaii
        4
    aitaii  
       Oct 8, 2019
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   913 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 22:25 · PVG 06:25 · LAX 15:25 · JFK 18:25
    ♥ Do have faith in what you're doing.