mysql 亿级数据，数据筛选和导入导出

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

This topic created in 515 days ago, the information mentioned may be changed or developed.

表中有个亿级别的数据，需要将表中某个字段做分析聚合插入到另一张新的表中，
请教一下各位大佬，
1. 这种操作通过哪种方式做会相对来说是最佳实践
2. 或者借用哪些工具会好一点
我当前想到的是做个批处理批量更新到另一张表中，
想问问论坛大佬们都还有哪些好点的做法，大厂里面都有哪些最佳实践

亿级

数据

分析

4 replies • 2024-12-25 14:53:28 +08:00

VampireDemon

Dec 24, 2024

nifi +doris

woduzibue

Dec 24, 2024

@VampireDemon 感谢大佬，这是要自己再单独部署这两个工具是吧

heqingpan

Dec 25, 2024 via Android

按 id>上次已处理的 id order by id limit 1000 ，从前到后批次查询、处理、批次写入（批次大小可以设置 1000 左右）。

如果有必要，单个批次可以加事务。
每个批次间可以加点 sleep 控制处理的 tps 。
每处理 10 万条记录写个日志，以便确认运行状态，成功、失败、异常都加上对应日志。

数据库性能够的话，一天处理个两三亿数据没什么问题。

如果可能分多次跑，记得把已处理的 id 记在某人地方，让下次运行时可以指定对应的值。

VampireDemon

Dec 25, 2024

@woduzibue 对，很方便简单上手快，拖拉拽就好了。生态强大。