用 csv.Reader 读 CSV 时需手动调用 Read() 读取并丢弃首行标题;写入时须在文件开头写入 UTF-8 BOM(\xEF\xBB\xBF)以兼容 Excel,且 header 需显式 Write。

如何使用Golang操作CSV文件_Golang csv读取与写入方法  第1张

encoding/csv 读取 CSV 文件时,第一行是标题怎么跳过?

Go 标准库的 csv.Reader 不自动识别或跳过 header 行,必须手动处理。常见错误是直接调用 Read() 读第一行却没判断它是不是标题,导致后续数据错位。

  • 先调用一次 Read() 获取首行,存为 headers 切片,再继续读数据行
  • 如果文件可能为空,需检查返回 error 是否为 io.EOF,避免 panic
  • 注意:CSV 中字段含换行符或逗号时,csv.Reader 默认能正确解析(只要符合 RFC 4180),但必须设置 FieldsPerRecord = -1 允许变长字段(否则报 record on line X: wrong number of fields
reader := csv.NewReader(file)
headers, err := reader.Read() // 读标题行
if err != nil && err != io.EOF {
    log.Fatal(err)
}
for {
    record, err := reader.Read()
    if err == io.EOF {
        break
    }
    if err != nil {
        log.Fatal(err)
    }
    // record 是 []string,对应 headers 顺序
}

写入 CSV 时中文乱码或 Excel 打不开?

根本原因不是 Go 的问题,而是 Windows Excel 默认用 GBKUTF-16LE 解析 CSV,而 Go csv.Writer 输出纯 UTF-8 字节流。直接写入会导致 Excel 显示乱码或全空白。

  • 解决办法:在文件开头写入 UTF-8 BOM(\xEF\xBB\xBF),Excel 就会识别为 UTF-8
  • 不要用 os.Create 直接写,改用 os.OpenFile 并设置 os.O_CREATE | os.O_WRONLY | os.O_TRUNC
  • csv.Writer 写入前必须调用 Write() 写 header(如果需要),且每行都必须是 []string;空字段写 "",不能为 nil
f, _ := os.OpenFile("out.csv", os.O_CREATE|os.O_WRONLY|os.O_TRUNC, 0644)
f.Write([]byte("\xEF\xBB\xBF")) // 写 BOM
writer := csv.NewWriter(f)
writer.Write([]string{"姓名", "城市", "年龄"})
writer.Write([]string{"张三", "北京", "28"})
writer.Flush()
f.Close()

处理带引号、逗号、换行符的真实 CSV 数据

标准 csv.Reader/Writer 默认支持 quoted field(如 "a,b",c,"d\ne"),但前提是字段被双引号包裹且内部双引号转义为两个双引号("say ""hello""")。不满足则会出错。

  • 确保输入 CSV 符合规范,否则 Read()parse error on line X
  • 写入含换行符的字段时,csv.Writer 会自动加引号并转义双引号,无需手动处理
  • 如果源数据不规范(比如用单引号、无引号但含逗号),就不能依赖标准库,得用第三方库如 gocsv 或先预处理字符串
  • 性能敏感场景下,避免对每行做 strings.Split —— csv.Reader 底层用缓冲区逐字节解析,比手动切分快且安全

大文件读取内存爆满或卡死?

csv.Reader 本身不缓存整文件,但若你把所有 Read() 结果存进一个大 slice,就会 OOM。常见于用 [][]string 一次性加载全部数据。

立即学习“go语言免费学习笔记(深入)”;

  • 正确做法:边读边处理,例如写入数据库、过滤、聚合,不保留原始 record
  • reader.FieldsPerRecord = -1 防止因某行字段数异常中断整个流程
  • 若必须校验整文件结构(如字段名一致性),可只缓存 header 和前几行样本,而非全部
  • 注意 csv.Reader 默认缓冲区大小是 4KB,超长行可能触发多次 Read 调用,可通过 bufio.NewReaderSize(file, 64*1024) 增大底层 buffer 提升吞吐
BOM 和 header 处理是实际项目里最常被忽略的两个点,尤其是导出给运营或业务方看的 CSV,哪怕数据逻辑完全正确,缺 BOM 就等于白忙。