V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 539 days ago, the information mentioned may be changed or developed.
当前在做的课题研究设计到了 ipfs ，我现在需要获取大量的 ipfs 地址，最主要的就是获取 ipfs.io 服务的 CID ，例如
https://ipfs.io/ipfs/bafybeigddnp66y6qbn2ut3uvnlpxqtt5qmi3pcaiwrfhcxfd3ng7a3gese/
说白了就是需要大量有效的那一串 CID ，那些一个 CID 下面带有大量路径的页面（比如 Wikipedia ）不是我想要的，最好对应的资源是 html ，现在已经尝试的方法包括：
- CommonCrawl （包含 dweb.link 的 URL ，但是 ipfs.io 很少）
- Fofa （搜不到）
- URLSCAN （虽然有不少，但是都是恶意网站，我现在需要的是良性数据集）
No Comments Yet
Select Language