抓网页，数据无法解码，看着不像编码给错

[hukangha]

初学... 代码是这样：

from html.parser import HTMLParser
import urllib.request
import chardet

pars = HTMLParser()
home_url = "https://wallstreetcn.com/"
response = urllib.request.urlopen(home_url)
content = response.read()
encoding = chardet.detect(content)
pars.feed(content.decode(encoding["encoding"],errors="ignore"))

chrome 看网页 metadata 里面 charset 用的 utf-8，我这里无论直接用'utf-8' 还是检测编码，均无法正确解码，有点 response 根本就没给出正确数据的感觉。请教一下

[n329291362]

1f8b 开头。。。。gzip 压缩啊 最简单的
import gzip
gzip.decompress(content)

[swordspoet]

换一个 HTML 解析器，html.parser 的容错率不高，试试看 lxml

[swordspoet]

from bs4 import BeautifulSoup

standard_html = BeautifulSoup(content, 'lxml')

试试看这个～

[free9fw]

Accept-Encoding:gzip, deflate, br

[hukangha]

@n329291362
果然... 可是如果是其他的压缩什么的怎么办... 只能这样靠丰富的经验么...

[n329291362]

@hukangha
也可以控制头 Accept-Encoding 让服务端返回没压缩过的数据
网页最多也就是 gzip 压缩 在复杂也复杂不到哪

[F1024]

import os
import requests

html = requests.get('https://wallstreetcn.com').content.decode('utf-8')
print(html)

os.system("pause")

是这个吗