mysql 只读权限
postgresql 可写可读
mysql里面有个表
字段如下：
orderID<int>,itemID<int>，info<text>,lastUpdate<datetime>
其中lastUpdate是这个记录的最后修改时间
每个记录有可能随时被修改，随即这个记录的lastUpdate会更新
postgresql字段如下：
orderID<int>,itemID<int>，info<jsonb>,lastUpdate<datetime>
postgresql 和mysql 字段都对应，只是字段类型有些不同 ，比如info这个字段，在mysql里面字段类型是text，而在postgresql里面字段类型是jsonb
现在想让postgresql保持和mysql数据一致
当mysql里面变化，也要让postgresql里面变化， 可接受的延迟是10秒左右
请问大家，有什么好的方案吗
有现成的轮子吗？如果没有的话 用python来写，这个东东的大概思路该如何弄呢 多谢
 |
1
qq2549112 OP 求大神指点一二
|
 |
2
hging Jul 1, 2015
...mysql只读为什么会有变化.
|
 |
4
choury Jul 1, 2015  1
你可以看下mysql的主从复制协议，然后接收mysql的binlog，然后自己解析……不过我感觉这个工作量有点大，你看有没有人干过这事吧
|
 |
5
Septembers Jul 1, 2015
|
 |
6
gamexg Jul 1, 2015 via Android
有 lastUpdate 字段，可接受10秒延时，直接定时获取最近更新的不就完了？
|
 |
7
jiaojing Jul 1, 2015
就是个etl吧
看看Kettle之类的行不行 |
 |
8
cevincheung Jul 1, 2015
postgresql有dblink
|
 |
9
rming Jul 1, 2015
@xiaotianhu CC
|
|
11
qq2549112 OP @Septembers 谢谢 SymmetricDS 好像不太适合我，这个东西好复杂，我想让 我的数据每隔1-10秒，postgresql 就和mysql保持一次更新同步，保证2个数据库里面的信息一致
|
|
14
qq2549112 OP @cevincheung dblink 我用的rds 无法安装软件 谢谢哦
|
|
15
Septembers Jul 1, 2015 1
@qq2549112
必须要解决"数据发现"的问题 被动发现比较难实现实时一致 而且会给主数据库带来一定的负担 除非主动发现、思路如下： 可以考虑向上司申请建立个 从库 然后写个工具分析 从库 的binlog提取数据到PostgreSQL （另外从库还可以作为主库的备份，存在 |
|
16
qq2549112 OP @Septembers 非常感谢您的回答
我分别用的阿里云的 mysql rds 和 postgresql rds mysql rds 是别人提供给了我 一个 [只读权限] 的 帐号密码 postgresql rds 是我自己购买的 之前我自己写过一个python脚本，5秒同步一次 [首次很慢，因为要拉取历史数据，之后5秒一次没有问题] 目前不用担心给主数据库带来负担，并且数据量并不是特别大， 所以 不用担心给mysql rds [主数据库] 增加负担 关于您说的binlog，因为是rds，所以binlog这个方案实现起来 似乎有点麻烦 所以 可能我还是得用以前的方法 用python 去 mysql [发现数据] 然后 再插入到 新的postgresql里面 然后每隔 几秒 就去 [发现] 一次 |
 |
17
msg7086 Jul 1, 2015 1
如果数据修改端自己能控制的话，用mysql proxy之类的玩意插一个代理。
不能的话当然只能不停刷了。 「首次」其实也可以分批拉的，按照时间排序然后每次limit一下数量就好了。 |
|
18
cevincheung Jul 2, 2015 1
@qq2549112 阿里云的RDS For Postgresql是支持dblink的
|
|
19
qq2549112 OP @cevincheung 谢谢， 我网上搜了下 dklink 好像这个只是 创建一个链接， 数据还是在原始的mysql里， 但这样的话 就无法使用postgresql的某写特性了 比如jsonb特性
所以我像把数据 直接 增量同步到 postgresql里面 |
|
20
cevincheung Jul 2, 2015 1
@qq2549112 那就只能试试触发器了或者自己解析binlog
|
 |
21
dhysum Mar 6, 2017
|
 |
22
Chenamy2017 Nov 22, 2018
楼主问题是否解决了？
|
Select Language