V2EX › firebroo 的所有回复 › 第 17 页 / 共 24 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 9 10 11 12 13 14 15 16 17 18 ... 24

❮

❯

2016 年 12 月 23 日

回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM

@miraclinger 晚上我测试完了给你结果，我觉得还是会泄露， github 那个它说 bluk 内部有 chunking ，默认好像是 chunking size 是 5000 吧，理解为 5000 个 documents 请求一次 es 的 API 就行。

@enenaaa 我取 stackoverflow 提问，有人推荐 pypi.python.org/pypi/memory_profiler ，但是我这个情况还是不适用。

2016 年 12 月 23 日

回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM

结帖了，在 github 提了[issue]( https://github.com/elastic/elasticsearch-py/issues/508)，是我姿势不对。。

2016 年 12 月 22 日

回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM

@miraclinger 嗯，我看了你的链接，官方的意思是推荐从一次导入 1000-5000 条开始测试直到找到最佳 performance 吧, 可能我的不是最佳，但是和这个应该没有关系,分割为小文件我导入我想过（现在我朋友推荐我使用 Java 的 API 用 9300 端口走 TCP 导入)，但是我其实想找到内存泄露的原因呢。
@WKPlus 试过了，依然 oom ，我还试过 del 之后用 gc 库显示回收 gc ，也是炸裂。

2016 年 12 月 22 日

回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM

@p2p 我试过减少 bluk 到 5w ，内存依然炸裂的
@Zuckonit 我是进程运行一段时间之后产生的内存泄露，有啥工具可以注入 Python 进程查看 gc 情况吗？

@jimmyye 晚上回去试试。

2016 年 12 月 22 日

回复了 firebroo 创建的主题 › Python › Python 调用 elasticsearch 的 bulk 接口批量插入数据出现内存泄露，导致 OOM

@yuankui 你要是发现这代码哪里导致的内存泄露，就说出来，我承认我是渣渣没问题的。

2016 年 12 月 20 日

回复了 chuhemiao 创建的主题 › 程序员 › 程序： D 的一生

D 之意志～

2016 年 12 月 16 日

回复了 skyworker 创建的主题 › Python › 说个笑话，关于 python

不好笑。。

2016 年 12 月 10 日

回复了 ansheng 创建的主题 › 职场话题 › 最寒冷的冬天，最伤人的事

加油。

2016 年 11 月 29 日

回复了 hailinzeng 创建的主题 › Linux › 在 Linux 下折腾过的事情印象最深的是什么?

其实是这样，本来系统已经可以用了，但是总想着优化，举个栗子，比如一个 grub ，默认已经可以了，但是想默认黑不溜秋的开机背景，好丑啊，然后查查查改改，然后发现开机好像有点慢，我想要 1 秒开机，嗯， grub 启动 timeout 改为 0 ，咦开机还载入各种模块，哪些不是必须的，去掉试试，然后改改改，应该还能优化启动吧，然后搜裁剪内核文章，系统启动一定可以更快，然后时间就流逝的很快。。还有类似的显卡驱动，桌面配置。。

2016 年 11 月 22 日

回复了 smallaccount 创建的主题 › Android › 咨询个问题，你们为什么要坚持买 Android 手机？

我总得有一个手机可以用吧，为啥南方人要坚持吃米饭，北方人坚持吃面条或者花卷，不吃会饿死啊。

2016 年 11 月 15 日

回复了 SpringHack 创建的主题 › 程序员 › 个人写的一个 oj 项目，娱乐向－－

@SpringHack 25 分钟没人理惨案…(回复你这句。。）

2016 年 11 月 15 日

回复了 SpringHack 创建的主题 › 程序员 › 个人写的一个 oj 项目，娱乐向－－

惨像已使我目不忍视...

2016 年 11 月 13 日

回复了 keikeizhang 创建的主题 › 程序员 › 对于任何编程语言，数据结构和算法对于一个程序员重要到什么程度？

程序的本质还是数据吧，保存数据操作数据依赖数据结构。。 linus 就一直强调设计数据结构的重要性。