GitHub: sprite-nest
轻松灵活地从网络上爬取指定类型内容的数据, ~~为了练习 ts 与 puppeteer~~
基本想法是:对某一类型数据设计统一的结构(这里的类型不是文件格式),当爬取同类不同种的数据时方便管理:如翻译器(谷歌翻译、百度翻译等)、搜索引擎(谷歌、百度、duckduckgo 等)、口红(armani,ysl,dior 等)、社交平台(微博等)。
特性
- 内置的指定类型内容爬虫
- 集群化操作(使用pupputeer-cluster)
- 日志记录(使用winstom)
GitHub: sprite-nest
轻松灵活地从网络上爬取指定类型内容的数据, ~~为了练习 ts 与 puppeteer~~
基本想法是:对某一类型数据设计统一的结构(这里的类型不是文件格式),当爬取同类不同种的数据时方便管理:如翻译器(谷歌翻译、百度翻译等)、搜索引擎(谷歌、百度、duckduckgo 等)、口红(armani,ysl,dior 等)、社交平台(微博等)。