psycopg2 的损耗怎么这么大？

This topic created in 3242 days ago, the information mentioned may be changed or developed.

用的 postgresql 数据库，在 python 下用的 psycopg2 连接数据库。

select 一个大概 500 万行的表，加了索引。
在 python 下循环 10000 次，用 psycopg2 select，用了 6.20757 s。
在数据库里编写函数，直接 select 10000 次，只需要 0.074269 s。

这时间也差的太多了吧，直接差 100 倍的速度？

后来在 python 下循环 10000 次，直接 select 1 ；，用了 3.55476 s。平均一次就有 0.0003s。
这种空 select 居然有这么大损耗，简直忍不了啊。难道传输 sql 命令的损耗有这么大？有什么办法提高速度吗？

select

psycopg2

Python

下循环

3 replies • 2017-07-07 14:45:04 +08:00

leeoo

Jul 7, 2017

题主把测试代码贴出来看下。或者试试用 pg8000 对比下性能怎么样。

ballshapesdsd

Jul 7, 2017

@leeoo

@profile
def aaa():
for i in range(10000):
sqlcmd='''select * from link_tbl where link_id=10360000000013'''
cur.execute(sqlcmd)
b=cur.fetchall()
aaa()

@profile
def bbb():
sqlcmd='''
CREATE OR REPLACE FUNCTION bbb()
RETURNS smallint
LANGUAGE plpgsql volatile
AS $$
DECLARE
node_id bigint;
i integer;
BEGIN
for i in 1..10000 loop
select s_node into node_id from link_tbl where link_id=10360000000013;
end loop;
return 1;
END;
$$;
select bbb();
'''
cur.execute(sqlcmd)
conn_str.commit()

bbb()

@profile
def ccc():
for i in range(10000):
sqlcmd='''select 10360000000013;'''
cur.execute(sqlcmd)
b=cur.fetchall()

ccc()

ballshapesdsd

Jul 7, 2017

现在问题解决了，我把整个数据表加载到内存里，用字典存起来，这样查询快很多，不过内存用了 7,8 个 g。