网站 404 页面识别技术方案探讨（～！～本人基于余弦相似性算法研究了一部分～！～）

爱意满满的作品展示区。

This topic created in 2904 days ago, the information mentioned may be changed or developed.

前段时间研究了下基于余弦相似性的 404 页面识别技术方案，这是当时记录的笔记与心得，有兴趣的可以看看：

研究结果虽然提升了 404 页面识别的准确性，但感觉仍有不足，有兴趣的可以一起探讨探讨。

注明：由于完整代码涉及公司项目，就不全部放出来了。再了解了具体实现方案后，代码实现还是比较容易的。

这是博客里面最终写到的 404 页面测试 api：

7 replies • 2018-06-05 10:21:59 +08:00

amamiyasachi

Jun 4, 2018

amamiyasachi

Jun 4, 2018

location ~ ^/this_is_nmask_test_404_page.* {
content_by_lua_block {
ngx.print('1')
}
}
添加了这么一段，屏蔽了测试页面＝。＝

codehz

Jun 5, 2018

话说有些部署在 github pages 上的单页应用，就提供了一个 404.html，然后内容全靠 js 跑，这种应该没法准确判断吧

nmask

Jun 5, 2018

@amamiyasachi 哈哈，我可以设置个随机路径，就没法屏蔽啦。

nmask

Jun 5, 2018

@codehz 应该可以，只要 404 页面不会随机变化，就能判断

codehz

Jun 5, 2018 via Android

@nmask 我的意思是这样的话无论实际上是不是 404 页面，获取到的 html 都是一样的，只能通过执行 js 才能获得内容。。。。

nmask

Jun 5, 2018

@codehz 嗯呢，这种得用 headless chrome 等无头浏览器的技术去加载 js，最终的渲染以后的源码。