scrapy 在爬虫的时候有的网址偶尔出现 404 如何解决？

This topic created in 2684 days ago, the information mentioned may be changed or developed.

2019-01-05 10:34:15 [csrc][scrapy.core.engine] DEBUG: Crawled (404) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340245.htm> (referer: http://www.csrc.gov.cn/pub/newsite/ xxpl/yxpl/index_9.html)
3916 2019-01-05 10:34:15 [csrc][scrapy.spidermiddlewares.httperror] INFO: Ignoring response <404 http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340245.htm>: HTTP status code is not handled or not allowed
3917 2019-01-05 10:34:21 [csrc][scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340247.htm> (referer: http://www.csrc.gov.cn/pub/newsite/ xxpl/yxpl/index_9.html)
3918 2019-01-05 10:34:28 [csrc][scrapy.core.engine] DEBUG: Crawled (404) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340246.htm> (referer: http://www.csrc.gov.cn/pub/newsite/ xxpl/yxpl/index_9.html)

网址： http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index.html

有的页面偶尔出现 404 这种如何解决参数都加上了

3 replies • 2019-01-06 16:06:11 +08:00

dreasky

Jan 5, 2019

用 scrapy 的 retry 中间件，改配置文件 retry 错误码和 retry 次数就行

Ewig

Jan 6, 2019

@dreasky 我单独写了一个 py 需要继承吗

Ewig

Jan 6, 2019

@dreasky 我本来自己写了一个中间件把自带的给 over 了，但是现在还是先用原生的，我想问一下这个 retry 的间隔可以设置吗？

scrapy 在爬虫的时候有的网址 偶尔出现 404 如何解决？