基于 Golang 的 HTTP 客户端，爬虫工具 direwolf

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

The Go Programming Language

› http://golang.org/

› Go Playground

Go Projects

› Revel Web Framework

这是一个创建于 1850 天前的主题，其中的信息可能已经有所发展或是发生改变。

写了一个基于 Golang 的 HTTP 客户端，可以做为爬虫工具。因为用 Golang 发请求的时候发现有些设置很麻烦，所以参考 Python 的 Requests，写了这个工具。

地址： https://wnanbei.github.io/direwolf/

网站中有完整的中文文档，后续会继续完善和添加新的功能。有兴趣的朋友欢迎在 Gayhub 点个 star，如果有 BUG、问题或者建议，也可以在 Gayhub 的 Issues 页面与我讨论。

特性：

简单方便的 API 接口
非常方便的设置 Headers，Cookies，URL 参数，Post 表单等请求选项
可以设置到单个请求的超时、代理、重定向控制
Cookie 的自动管理与存储
内置连接池，复用 TCP 连接
支持用正则或 CSS 选择器提取响应数据
响应编码控制

以下是部分简单用法的展示：

你可以像下方这样非常简单的发起一个请求：

import (
    "fmt"

    dw "github.com/wnanbei/direwolf"
)

func main() {
    resp, err := dw.Get("http://httpbin.org/get")
    if err != nil {
        return
    }
    fmt.Println(resp.Text())
}

输出：

{
  "args": {},
  "headers": {
    "Accept-Encoding": "gzip",
    "Host": "httpbin.org",
    "User-Agent": "direwolf - winter is coming"
  },
  "origin": "171.217.52.188, 171.217.52.188",
  "url": "https://httpbin.org/get"
}

除此之外，direwolf 可以很方便的给一个请求添加参数，例如 Headers、Cookies、Params。

import (
    "fmt"

    dw "github.com/wnanbei/direwolf"
)

func main() {
    headers := dw.NewHeaders(
        "User-Agent", "direwolf",
    )
    params := dw.NewParams(
        "name", "wnanbei",
        "age", "18",
    )
    cookies := dw.NewCookies(
        "sign", "kzhxciuvyqwekhiuxcyvnkjdhiue",
    )
    resp, err := dw.Get("https://httpbin.org/get", headers, params, cookies)
    if err != nil {
        return
    }
    fmt.Println(resp.Text())
}

输出：

{
    "args": {
        "age": "18",
        "name": "wnanbei"
    },
    "headers": {
        "Accept-Encoding": "gzip",
        "Cookie": "sign=kzhxciuvyqwekhiuxcyvnkjdhiue",
        "Host": "httpbin.org",
        "User-Agent": "direwolf"
    },
    "origin": "1.1.1.1, 1.1.1.1",
    "url": "https://httpbin.org/get?age=18&name=wnanbei"
}

23 条回复 • 2019-12-04 00:24:01 +08:00