本教程详细阐述了在使用 php curl 请求网页时，如何正确处理服务器返回的 gzip 压缩 html 响应。当 http 请求头中包含 `accept-encoding: gzip` 时，服务器可能返回压缩数据。文章将介绍两种解决方案：手动使用 `gzdecode()` 函数解压，以及更推荐的通过设置 `curlopt_encoding` 选项让 curl 自动处理解压过程，确保获取到可读的 html 内容。
在进行网络请求时，为了优化传输效率，HTTP 协议支持内容编码（Content-Encoding），其中 Gzip 是一种常见的压缩算法。当客户端在请求头中声明支持 Gzip 编码时，服务器可能会返回经过 Gzip 压缩的数据。本文将指导您如何在 PHP cURL 中正确处理这类压缩响应，从而获取到可读的 HTML 内容。
1. 理解 HTTP 响应编码与 cURL
HTTP 请求头中的 Accept-Encoding 字段用于告知服务器客户端支持哪些内容编码方式。例如，Accept-Encoding: gzip, deflate 表示客户端能够处理 Gzip 和 Deflate 压缩的数据。如果服务器支持这些编码方式，它可能会将响应体进行压缩，并在响应头中包含 Content-Encoding: gzip 或 Content-Encoding: deflate 来指示所使用的编码。
当 PHP cURL 请求中明确指定了 Accept-Encoding: gzip，并且服务器也响应了 Gzip 压缩数据时，直接输出 cURL 返回的结果会显示乱码或二进制数据，因为这些数据尚未解压。
2. 原始问题分析与表现
考虑以下使用 PHP cURL 发送请求的代码片段：
立即学习“PHP免费学习笔记（深入）”；
<?php
$header_request = array (
"accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"accept-encoding: gzip", // 明确请求 gzip 编码
"accept-language: id-ID,id;q=0.9,en-US;q=0.8,en;q=0.7",
"cookie: csrf_cookie_name=9316014c9d7860019da66a78edfaf926; _data_pop=115-1_274-1; ci_session=607f0be4e56b8b08ee2398b892f115c9e660192e; _data_cpc=1-2_15-2_190-4",
"referer: https://ptc4btc.com/",
"user-agent: Mozilla/5.0 (Linux; Android 7.0; Moto C Plus) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.56 Mobile Safari/537.36",
"upgrade-insecure-requests: 1"
);
$ch = curl_init();
curl_setopt_array($ch, array(
CURLOPT_URL => "https://ptc4btc.com/dashboard",
CURLOPT_RETURNTRANSFER => 1, // 将结果作为字符串返回
CURLOPT_FOLLOWLOCATION => 1,
CURLOPT_HTTPHEADER => $header_request,
CURLOPT_SSL_VERIFYPEER => 0, // 禁用 SSL 证书验证 (不推荐用于生产环境)
CURLOPT_SSL_VERIFYHOST => 2,
));
$exec = curl_exec($ch);
echo($exec); // 直接输出结果，可能导致乱码
curl_close($ch); // 注意这里应该关闭 $ch，而不是 $exec
?>
上述代码中，由于请求头明确包含了 accept-encoding: gzip，如果目标服务器支持并返回了 Gzip 压缩的 HTML，那么 $exec 变量中存储的将是压缩后的二进制数据。直接 echo($exec) 会导致终端或浏览器显示一堆无法识别的乱码，而不是预期的 HTML 内容。
3. 解决方案一：手动解压 gzdecode()
PHP 提供了一个内置函数 gzdecode()，专门用于解压 Gzip 格式的字符串。当您确定 cURL 返回的数据是 Gzip 压缩的，并且希望手动处理解压过程时，可以使用此函数。
<?php
// ... (cURL 初始化及设置代码同上) ...
$ch = curl_init();
curl_setopt_array($ch, array(
CURLOPT_URL => "https://ptc4btc.com/dashboard",
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_FOLLOWLOCATION => 1,
CURLOPT_HTTPHEADER => $header_request,
CURLOPT_SSL_VERIFYPEER => 0,
CURLOPT_SSL_VERIFYHOST => 2,
));
$exec = curl_exec($ch);
if ($exec === false) {
echo "cURL Error: " . curl_error($ch);
} else {
// 尝试解压 Gzip 数据
$decoded_content = gzdecode($exec);
if ($decoded_content !== false) {
echo $decoded_content; // 输出解压后的 HTML
} else {
echo "Failed to gzdecode content. It might not be gzip compressed or is corrupted.";
// 如果解压失败，可以考虑输出原始数据进行调试
// echo $exec;
}
}
curl_close($ch);
?>
说明：
- gzdecode($exec) 会尝试解压 $exec 中的数据。
- 如果解压成功，$decoded_content 将包含原始的 HTML 字符串。
- 如果 $exec 不是有效的 Gzip 格式，gzdecode() 将返回 false。因此，进行错误检查非常重要。
4. 解决方案二：利用 cURL 自动解压（推荐）
更优雅和推荐的做法是让 cURL 库本身处理内容的自动解压。您可以通过设置 CURLOPT_ENCODING 选项来实现这一点。
将 CURLOPT_ENCODING 设置为空字符串 ”，cURL 将会在请求头中自动添加 Accept-Encoding 字段，包含所有它支持的编码（如 gzip, deflate）。同时，当服务器返回压缩数据时，cURL 会自动对其进行解压，并将解压后的内容作为 curl_exec() 的结果返回。这样，您无需手动调用 gzdecode()。
<?php
$header_request = array (
"accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
// "accept-encoding: gzip", // 移除手动设置的 accept-encoding
"accept-language: id-ID,id;q=0.9,en-US;q=0.8,en;q=0.7",
"cookie: csrf_cookie_name=9316014c9d7860019da66a78edfaf926; _data_pop=115-1_274-1; ci_session=607f0be4e56b8b08ee2398b892f115c9e660192e; _data_cpc=1-2_15-2_190-4",
"referer: https://ptc4btc.com/",
"user-agent: Mozilla/5.0 (Linux; Android 7.0; Moto C Plus) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.56 Mobile Safari/537.36",
"upgrade-insecure-requests: 1"
);
$ch = curl_init();
curl_setopt_array($ch, array(
CURLOPT_URL => "https://ptc4btc.com/dashboard",
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_FOLLOWLOCATION => 1,
CURLOPT_HTTPHEADER => $header_request,
CURLOPT_SSL_VERIFYPEER => 0,
CURLOPT_SSL_VERIFYHOST => 2,
CURLOPT_ENCODING => '', // 让 cURL 自动处理所有支持的编码和解压
));
$exec = curl_exec($ch);
if ($exec === false) {
echo "cURL Error: " . curl_error($ch);
} else {
echo $exec; // 直接输出解压后的 HTML
}
curl_close($ch);
?>
说明：
- 移除了 header_request 数组中的 accept-encoding: gzip，因为 CURLOPT_ENCODING => ” 会自动处理。
- CURLOPT_ENCODING => ” 指示 cURL 发送一个包含所有支持编码的 Accept-Encoding 头，并自动解压服务器返回的任何压缩数据。
- $exec 将直接包含解压后的 HTML 内容，无需额外处理。
5. 注意事项与最佳实践
- SSL 证书验证： 在示例代码中，CURLOPT_SSL_VERIFYPEER => 0 和 CURLOPT_SSL_VERIFYHOST => 2 被设置为禁用 SSL 证书验证。这在某些开发或测试场景下可能有用，但在生产环境中强烈不推荐，因为它会使您的应用程序容易受到中间人攻击。始终建议开启 SSL 验证，并确保您的系统拥有最新的 CA 证书。
- 错误处理： 始终检查 curl_exec() 的返回值是否为 false，并通过 curl_error($ch) 和 curl_errno($ch) 获取详细的错误信息。这对于调试和构建健壮的应用程序至关重要。
- 服务器行为： 并非所有服务器都会响应 gzip 压缩，即使您在请求中包含了 Accept-Encoding: gzip。如果服务器不支持或未配置发送压缩数据，它将直接发送未压缩的内容。CURLOPT_ENCODING => ” 的方法能够优雅地处理这两种情况，因为它只会解压实际压缩的数据。
- 其他编码： 除了 gzip，还有 deflate 等其他内容编码方式。CURLOPT_ENCODING => ” 能够自动处理 cURL 支持的所有这些编码，提供更全面的解决方案。
6. 总结
当使用 PHP cURL 抓取网页内容并遇到乱码时，一个常见的原因是服务器返回了 Gzip 压缩的数据，而客户端未能正确解压。通过本文介绍的两种方法，您可以有效地解决这个问题：
- 手动解压： 使用 gzdecode() 函数对 curl_exec() 返回的 Gzip 压缩数据进行解压。这种方法适用于您需要更精细控制解压过程的场景，但需要额外的错误检查。
- 自动解压（推荐）： 设置 CURLOPT_ENCODING => ” 让 cURL 自动处理 Accept-Encoding 头和响应内容的解压。这是最简洁、最健壮且推荐的做法，它能自动适应服务器是否返回压缩数据，并处理多种压缩格式。
选择适合您项目需求的方法，并结合良好的错误处理和安全实践，确保您的 PHP cURL 请求能够稳定、高效地获取所需数据。
以上就是PHP cURL 获取 Gzip 编码 HTML 响应的正确处理方法的详细内容，更多请关注php中文网其它相关文章！