Go爬虫需关闭resp.Body并检查StatusCode；用http.Client设超时；解析HTML优先选golang.org/x/net/html；colly需限并发、设Header；反爬需分析响应头与JS行为。
用 net/http 发起 GET 请求时，别漏掉 resp.Body.Close()
不关闭响应体是 Go 爬虫最常踩的内存泄漏坑。每次 http.Get() 后，resp.Body 是一个未关闭的 io.ReadCloser，长期运行会耗尽文件描述符或内存。
- 必须在
defer resp.Body.Close()前检查resp.StatusCode，否则可能 panic：比如 404 或 500 时仍尝试读取 body - 如果用
http.Client自定义超时，记得设Timeout字段，否则默认无超时，请求卡住就阻塞整个 goroutine - 简单场景用
http.Get()没问题；需要复用连接、带 Cookie 或 Header 时，必须显式构造http.Client和http.Request
client := &http.Client{
Timeout: 10 * time.Second,
}
req, _ := http.NewRequest("GET", "https://example.com", nil)
req.Header.Set("User-Agent", "Mozilla/5.0")
resp, err := client.Do(req)
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close() // 必须放在这里，且在检查 status 之后
if resp.StatusCode != http.StatusOK {
log.Fatalf("HTTP %d", resp.StatusCode)
}
解析 HTML 优先选 golang.org/x/net/html，不是正则或 strings
用 strings.Contains() 或正则匹配 HTML 标签，在真实网页中基本不可靠：标签换行、属性顺序变化、自闭合写法（
-
golang.org/x/net/html是 Go 官方维护的流式 HTML 解析器，符合 HTML5 规范，能处理乱序、嵌套、大小写混用等真实情况 - 不要一次性把整个 HTML 加载进内存再解析（比如用
io.ReadAll(resp.Body)+strings），对大页面浪费内存；应直接用html.Parse()接resp.Body - 遍历节点时注意区分
html.ElementNode和html.TextNode，文本内容藏在TextNode的Data字段里，不是Attr
doc, err := html.Parse(resp.Body)
if err != nil {
log.Fatal(err)
}
var f func(*html.Node)
f = func(n *html.Node) {
if n.Type == html.ElementNode && n.Data == "a" {
for _, a := range n.Attr {
if a.Key == "href" {
fmt.Println(a.Val) // 提取链接
}
}
}
for c := n.FirstChild; c != nil; c = c.NextSibling {
f(c)
}
}
f(doc)
提取结构化数据时，用 colly 比手写更稳，但得理解它怎么调度
colly 是 Go 生态中最成熟的爬虫框架，封装了请求队列、去重、并发控制和选择器（类似 jQuery）。但它不是“开箱即用就安全”，默认配置下容易被封或漏数据。
- 必须调用
c.Limit(&colly.LimitRule{DomainGlob: "*", Parallelism: 2})控制并发，否则默认无限并发，目标站可能拒绝连接 -
c.OnHTML("div.title", ...)回调里的e.DOM是goquery.Selection，支持链式调用，但e.ChildAttrs("a", "href")这类方法只查直接子元素，深层嵌套需用e.Find("a").Attr("href") - Cookie、User-Agent、Referer 都要手动设置：用
c.WithTransport(&http.Transport{...})或c.OnRequest(...)注入 header
c := colly.NewCollector(
colly.AllowedDomains("quotes.toscrape.com"),
)
c.WithTransport(&http.Transport{
TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
})
c.OnRequest(func(r *colly.Request) {
r.Headers.Set("User-Agent", "Mozilla/5.0 (compatible; Bot/1.0)")
})
c.OnHTML(".quote", func(e *colly.HTMLElement) {
title := e.ChildText(".text")
author := e.ChildText(".author")
fmt.Printf("%s — %s/n", title, author)
})
c.Visit("https://quotes.toscrape.com/")
反爬绕过不是加个 User-Agent 就完事，重点看响应头和 JS 行为
很多站点返回 200 但 HTML 是空的，或者返回“请启用 JavaScript”，说明服务端做了 UA 检查、Cookie 验证、甚至执行了 JS 渲染逻辑。Go 原生 net/http 不执行 JS，无法解决后者。
立即学习“go语言免费学习笔记（深入）”；
- 先用
curl -I或 Go 打印resp.Header，检查是否含Set-Cookie；若需登录态，后续请求必须携带该 cookie - 检查
resp.Header.Get("Content-Type")是否为text/html；如果是application/json，说明接口走的是 AJAX，直接请求 API 更高效 - 遇到 JS 渲染页（如 React/Vue SPA），
colly无解，得换chromedp或调用 Puppeteer；但代价是体积大、启动慢、资源占用高
真正难的不是写几行 http.Get，而是判断这个页面到底靠什么渲染、哪些字段必须从哪次请求里带出来、哪些 header 缺一不可——这些只能靠反复抓包、比对响应、看 network 面板来确认。