要做一些复杂的数据统计 MySQL 里的数据如何同步到 HBase?

This topic created in 3798 days ago, the information mentioned may be changed or developed.

举个简单的例子， MySQL 里有订单相关的数据，要对订单做统计分析，订单的变化希望能半实时的同步到 HBase ，然后用 spark 来做统计分析。

怎么比较好的将 MySQL 里的数据变化同步到 HBase 里？大家有什么比较好的方法吗？

能想到的一个方法就是在需要同步的表增加一个 update_time 字段，给 update_time 加索引，用一个脚本将最近更新的数据同步到 HBase 。

Hbase

MySQL

同步

订单

2 replies • 2015-12-28 11:20:32 +08:00

sleepNULL

Dec 27, 2015

用一些 binlog 抽取的中间件来做吧

morefreeze

Dec 28, 2015

同意 LS ， github 可以搜一些 binlog 中间件去自己转成想要的格式存到 HBase 里，比如阿里的叫啥忘了
或者 hadoop 自带的 sqoop(2) 这个是个命令行，可配置的相对少点，也能直接导入 HBase ，但定制性肯定没上面的好