morost's recent timeline updates morost's recent timeline updates |
morostV2EX member #618693, joined on 2023-03-14 09:57:44 +08:00 |
| 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 程序员 • morost • May 18, 2024 • Lastly replied by Mogamigawa | 77 |
morost's recent replies
Apr 15 Replied to a topic by Unity2Ai › 推广 › 大模型中转站， Unity2.Ai 内测招募：直达源头，拒绝“掺水”！ |
来自 unity2.ai ，我的 id 是 1263 试试
May 16, 2024 Replied to a topic by morost › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@user919lx #43 谢谢！这个建议很实用！我们会把这个链路考虑进去的
May 16, 2024 Replied to a topic by morost › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@justplaymore #36 感谢老哥的解答，我们已经在复盘了
May 16, 2024 Replied to a topic by morost › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
谢谢大伙的建议，爬虫这边与数据库这边确实不太熟，半路做的东西，认真听取了各位朋友的建议，现在第一是优化 MySQL 现有的查询吧，其次我会好好去了解大家提出来的其余的方案，斟酌一个最适合的。感慨自己需要学的东西还有很多。
May 15, 2024 Replied to a topic by morost › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@gazi #17 谢谢解答，我这就去优化一下索引相关
May 15, 2024 Replied to a topic by morost › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@keyfunc 老哥细说一下呢
May 15, 2024 Replied to a topic by morost › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@tikazyq 我自己这边找的方案现在是在 mongodb 和 PostgreSQL 之间比较，那我先去看看 mongo
May 15, 2024 Replied to a topic by morost › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@me1onsoda 谢谢回答， 我去调研一下这个 db
May 15, 2024 Replied to a topic by morost › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@pota 谢谢回答，我去调研一下
May 15, 2024 Replied to a topic by morost › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 |
@KongLiu 产品设计导致只能放在一张表里，哎
Select Language