譬如我写个爬虫,每次爬了都会向数据库写入数据,但很多时候都是重复数据,为了避免重复数据的提交,我能想到的实现方法:
1、将某数据库字段设置为UNIQUE字段,通过insert or ignore table...来写sql语句
2、在sql insert语句之前,通过代码逻辑来判断是否insert,但这样貌似很麻烦:
- 先读取数据库内容
- if 希望插入的内容 in 数据库已有内容(python伪代码)
- 则pass
- 否则insert
这样实现效率肯定狂低吧...
1、将某数据库字段设置为UNIQUE字段,通过insert or ignore table...来写sql语句
2、在sql insert语句之前,通过代码逻辑来判断是否insert,但这样貌似很麻烦:
- 先读取数据库内容
- if 希望插入的内容 in 数据库已有内容(python伪代码)
- 则pass
- 否则insert
这样实现效率肯定狂低吧...