pyspider爬网页出现中文乱码的解决办法
为什么会出现乱码呢?
这就是 lxml 的蛋疼之处,给它 unicode 它有的时候它不认,给它 bytes 它又处理不好
方法1:
response.content = (response.content).decode(‘utf-8‘) #目标站是 utf-8 编码方法2:
response.content = response.content.decode(‘gbk‘, errors=‘ignore‘)#目标站是gbk方法3:(binux的方案)
import pyquery
doc = pyquery.PyQuery(response.text)方案3的好处是,不必知道源站编码,而直接由pyquery来接管。
本文内容仅供个人学习、研究或参考使用,不构成任何形式的决策建议、专业指导或法律依据。未经授权,禁止任何单位或个人以商业售卖、虚假宣传、侵权传播等非学习研究目的使用本文内容。如需分享或转载,请保留原文来源信息,不得篡改、删减内容或侵犯相关权益。感谢您的理解与支持!