bufio.Scanner 是流式读取大文件最轻量的选择，但默认缓冲区仅64KB，遇超长行会报错；需调用 scanner.Buffer(make([]byte, 64*1024), 1
用 bufio.Scanner 逐行读取大文件不爆内存
统计工具常要处理 GB 级日志或 CSV，直接 os.ReadFile 容易 OOM。必须流式读取，bufio.Scanner 是最轻量的选择，但默认缓冲区只有 64KB，遇到超长行会报 scanner: token too long。
- 调用前用
scanner.Buffer(make([]byte, 64*1024), 1 手动扩容，第二个参数设为 1MB 防止截断 - 别用
scanner.Text()后再strings.Split做二次切分——每行都新建字符串，GC 压力大；改用bytes.FieldsFunc(line, func(r rune) bool { return r == '/t' || r == ',' })原地切分字节切片 - 如果文件是带 BOM 的 UTF-8，需在读取前跳过前 3 字节：
if bytes.HasPrefix(line, []byte{0xEF, 0xBB, 0xBF}) { line = line[3:] }
用 map[string]int64 做高频计数，但注意并发安全
统计 PV、UV、状态码分布等场景，map[string]int64 查找快、内存省。但 Go 的 map 默认非并发安全，多 goroutine 写入会 panic：fatal error: concurrent map writes。
Matlab语言的特点 中文WORD版
本文档主要讲述的是Matlab语言的特点；Matlab具有用法简单、灵活、程式结构性强、延展性好等优点，已经逐渐成为科技计算、视图交互系统和程序中的首选语言工具。特别是它在线性代数、数理统计、自动控制、数字信号处理、动态系统仿真等方面表现突出，已经成为科研工作人员和工程技术人员进行科学研究和生产实践的有利武器。希望本文档会给有需要的朋友带来帮助；感兴趣的朋友可以过来看看
- 单线程处理就直接用普通 map，性能最好
- 需要并发（比如启动多个
go processChunk(...)），必须换sync.Map或加sync.RWMutex；但sync.Map的LoadOrStore在高命中率下比加锁慢 2–3 倍，实测 1000 万次写入，普通 map + mutex 耗时约 180ms，sync.Map约 290ms - 如果只是最终合并结果，更推荐分片 map：每个 goroutine 维护自己的
map[string]int64，结束后用 for-range 合并到主 map，避免全程锁竞争
输出 JSON 或 TSV 时控制精度和格式
统计结果导出后常被下游脚本或 BI 工具消费，字段类型错位会导致解析失败。Go 默认的 json.Marshal 对 float64 会输出科学计数法（如 1.2e7），而 Python pandas 读 TSV 时若某列混入字符串，整列会被转成 object 类型。
- 导出 JSON 用
json.Encoder替代json.Marshal，可禁用 HTML 转义：enc := json.NewEncoder(w); enc.SetEscapeHTML(false) - 导出 TSV 时，数字字段统一用
fmt.Sprintf("%.0f", v)强制转整数字符串，避免小数点后带 0；字符串字段用strconv.Quote包裹，防止含 tab 或换行导致列错位 - 时间戳统一用 Unix 秒级整数输出，别用
time.Now().Format("2006-01-02")——字符串排序和范围查询都麻烦
package main
import (
"bufio"
"fmt"
"log"
"os"
"sort"
"strconv"
"strings"
"sync"
)
type Stats struct {
mu sync.RWMutex
count map[string]int64
}
func (s *Stats) Inc(key string) {
s.mu.Lock()
s.count[key]++
s.mu.Unlock()
}
func (s *Stats) TopN(n int) []struct{ Key string; Count int64 } {
s.mu.RLock()
defer s.mu.RUnlock()
pairs := make([]struct{ Key string; Count int64 }, 0, len(s.count))
for k, v := range s.count {
pairs = append(pairs, struct{ Key string; Count int64 }{k, v})
}
sort.Slice(pairs, func(i, j int) bool { return pairs[i].Count > pairs[j].Count })
if n < len(pairs) {
pairs = pairs[:n]
}
return pairs
}
func main() {
file, err := os.Open("access.log")
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
scanner.Buffer(make([]byte, 64*1024), 1<<20)
stats := &Stats{count: make(map[string]int64)}
for scanner.Scan() {
line := scanner.Bytes()
if len(line) == 0 {
continue
}
parts := bytes.FieldsFunc(line, func(r rune) bool {
return r == ' ' || r == '/t'
})
if len(parts) > 8 {
status := string(parts[8])
stats.Inc(status)
}
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
for _, p := range stats.TopN(5) {
fmt.Printf("%s/t%d/n", p.Key, p.Count)
}
}
真正卡住进度的往往不是算法，而是大文件读取时的缓冲区设置、并发 map 的锁粒度选择，以及导出格式里一个没转义的 tab 字符。这些细节不试一次根本想不到。