This topic created in 4735 days ago, the information mentioned may be changed or developed.
估计是变成坏掉的不完整的UTF-8字符了，求解决方案。
另外，估计不是编码问题，因为出现问题的字符是随机的，并不固定。
另外，估计不是编码问题，因为出现问题的字符是随机的，并不固定。
Supplement 1 · May 20, 2013
https://github.com/wontoncc/cnbetaCC 代码仓库在这边，主要是 worker 和 processor 做爬取信息的处理。
Supplement 2 · May 21, 2013
重新写了一遍抓取的代码，用 stream 和原生 buffer 处理，并没有出现这个问题；
估计是 bufferhelper 模块的问题：https://github.com/JacksonTian/bufferhelper
有点可笑的是，bufferhelper 这个模块本身就是为了防止 chunk 拼接的时候被阶段的问题…
我自己的处理方案是：
var buf = Buffer(0);
...
res.on('data', function(chunk){ ... buf = Buffer.concat([buf,chunk]); ... });
res.on('end', function(){ ... buf = Buffer(0); });
于是这贴可以结了，感谢各位的指教。
估计是 bufferhelper 模块的问题：https://github.com/JacksonTian/bufferhelper
有点可笑的是，bufferhelper 这个模块本身就是为了防止 chunk 拼接的时候被阶段的问题…
我自己的处理方案是：
var buf = Buffer(0);
...
res.on('data', function(chunk){ ... buf = Buffer.concat([buf,chunk]); ... });
res.on('end', function(){ ... buf = Buffer(0); });
于是这贴可以结了，感谢各位的指教。
 |
1
chemzqm May 19, 2013  1
可能抓到的是gzip版本，设置请求头 Accept-Encoding:deflate
|
 |
3
orzfly May 19, 2013 1
随机的？话说js好像不支持0~0xFFFF之外的字符。
|
 |
5
inaction May 19, 2013
测试：刚才明明发的中文字符：〖〗，变成了[]
|
 |
8
juicy May 20, 2013 1
会不会是你本机缺少相应的字符库，而抓到的数据本身是没问题的？也许在其他有相应字符库的机子上是显示正常的？
|
 |
9
wontoncc OP @juicy 刚刚测试了一下，并不是这个问题。
而且因为是随机的缘故，本来有些字这次请求完好，下一次请求却坏到了。如果是字库问题应该一直都看不到才对。 |
 |
11
leafduo May 20, 2013 1
贴代码吧
|
|
14
juicy May 21, 2013
恭喜楼主攻克难题～～～
|
|
15
chemzqm May 21, 2013
给他提个issue吧，方便其他人。
|
Select Language