最近在调试 Cloudflare Workers ,发现日志中总有莫名其妙的请求。IP 来源是俄罗斯,UA 是 Yandex 的爬虫。
具体表现为,当我访问只有我知道的一个 API 地址时,5 分钟之后会有 Yandex 爬虫访问该地址。由于是 HTTPS 链接,检查过证书没有问题,因此排除 MITM 。
首先怀疑自己安装的插件,于是开 InPrevite 窗口,该问题复现。新建一个 Edge Profile ,请求该 URL ,依然复现。因此排除是插件问题。
使用 Firefox 请求该 URL ,无法复现。

