V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
请教一下 elasticsearch 分析交易流水类的数据库文本（以||分割），如何才能导入到 elasticsearch 里面？ mapping？有没有工具可以直接通过 sql 转化成可以导入的格式呢？
jahan · Feb 9, 2018 · 6321 viewsThis topic created in 3012 days ago, the information mentioned may be changed or developed.
想通过例子学习一下，如何把数据导入到 elasticsearch。 需要看那部分文档呢？
18 replies • 2018-02-14 19:28:34 +08:00
 |
1
kslr Feb 9, 2018
比如 mysql 就可以把 binlog 同步进去
|
 |
2
jahan OP |
 |
4
tomczhen Feb 9, 2018
需要看 logstash 的 input plugins 和 filter plugins 部分，也可以查一下有没有第三方 input plugin 可以直接满足要求，没有话大概就是用 Grok filter plugin 了。
|
 |
5
lfzyx Feb 9, 2018
你要做的就是把 elasticsearch 当作一个键值数据库
1.建立一个索引 2.把数据库文本中的每个条目转换成一个 json 串 3.把转换后的数据插入索引 |
 |
6
SakuraKuma Feb 9, 2018
1. 建索引，mapping
2. 会写代码? 转文本到 json，api 插入 es : logstash #4 |
|
7
jahan OP @SakuraKuma python 可以写。有现成的可以参考吗？
@lfzyx 谢谢。 @tomczhen 我来试试。就是这几个工具都有点摸不着头，说命令行吧，貌似也不是，说网页吧，貌似很少键可以点击。 刚刚学习。 话说一次能读多大的文本块？ |
|
8
jahan OP 如果有比较精简、完整的文档推荐，那就太感谢了
|
|
9
jahan OP @SakuraKuma 建立索引这块，有没有工具可以直接把 sql 建表语句变成索引?
|
 |
10
owenliang Feb 9, 2018
可以自己编程。
|
 |
11
defunct9 Feb 9, 2018 via iPhone
链接里有，把 sql 结果整理成 json，导入即可
|
 |
12
mooncakejs Feb 9, 2018
awk + curl
|
 |
13
jalja27 Feb 9, 2018 via Android
es 2 版本可以用 jdbc 的工具。分隔符可以 logstash grok
|
 |
14
jerome918 Feb 10, 2018
可以用 spark 跑吧，读文件生成 rdd 然后用 es-spark 的 api 写入到 es 中，当然 es 中要首先建好 mapping.
|
|
16
SakuraKuma Feb 11, 2018
@jahan #7 elasticsearch-sql
|
Select Language