Go的http库处理multipart的两个问题解决

发布 by 猛禽 需要1分钟读完

问题说明

最近因为项目需要搞了一些golang的开发，碰到不少问题，除了之前踩的那个关于ActiveMQ的坑以外，最近又在用Gin进行Web开发踩到一个http库里的坑。

Gin本身只是一个简单的包装，大部分功能还是基于net/http这个标准库，其中就包括了Request。

这次碰到的两个问题都是由于一个原因引起的：那就是我在处理POST请求接收文件上传的时候，有时会丢失请求参数（上传文件可以收到，但一起传过来的Post参数为空）。

经过返复测试，发现用python的requests发过来的请求是可以正常处理的，但是用Java发过来的请求就出错。

为了调试这个问题，我想把请求内容打出日志来，于是碰到了第一个问题：

Request.Body是一个ReaderCloser缓冲，只能读一次，如果我读出来打日志，那么后面的参数肯定都为空，如果取了参数，则这个缓冲也为空。

当然，第二个问题就是那个POST请求丢失的问题，其原因后面说。

无损读取Request.Body的方法

按官方文档和Stackoverflow上找来的各自方法都尝试过，比如读完再写回，或者是用Bind，都不能正常取到内容，最后是在一个外国人的BLOG的评论里看到有人提到一个方法：

httputil.DumpRequest

最终解决了这个问题，写了一个调试专用的方法：

func req_body(c *gin.Context) string {
    body, err := httputil.DumpRequest(c.Request, true)
    if err != nil {
        println(err)
    }
    return string(body[:1024])
}

POST参数丢失问题

有了上面这个方法，我终于找到问题的所在了。下面分别是python和Java的请求内容，注意其中的区别：

python:

Connection: close
Accept: */*
Accept-Encoding: gzip, deflate
Connection: close
Content-Length: xxx
Content-Type: multipart/form-data; boundary=5b9ca15e3fd14316b6a4b03cb4ee4de2
User-Agent: python-requests/2.12.3
X-Forwarded-For: 120.36.xx
X-Real-Ip: 120.36.xx

--5b9ca15e3fd14316b6a4b03cb4ee4de2
Content-Disposition: form-data; name="index"

1
--5b9ca15e3fd14316b6a4b03cb4ee4de2
Content-Disposition: form-data; name="checksum"

testchecksum

Java:

Connection: close
Connection: close
Content-Length: xxx
Content-Type: multipart/form-data; boundary=JqsRkZ2MjzUUb4YOaDn-FvuI_vsjn0sXhhZZ
d
User-Agent: Apache-HttpClient/4.5.2 (Java/1.7.0_79)
X-Forwarded-For: 1.192.xx
X-Real-Ip: 1.192.xx

--JqsRkZ2MjzUUb4YOaDn-FvuI_vsjn0sXhhZZd
Content-Disposition: form-data; name="index"
Content-Type: text/plain; charset=ISO-8859-1
Content-Transfer-Encoding: 8bit

2
--JqsRkZ2MjzUUb4YOaDn-FvuI_vsjn0sXhhZZd
Content-Disposition: form-data; name="checksum"
Content-Type: text/plain; charset=ISO-8859-1
Content-Transfer-Encoding: 8bit

testchecksum

显然，Java版的每个part头里多了一些东西，应该就是这些东西导致了http对multipart的解析失败。

但是我反复试了PostForm和MultipartForm，都无法取得POST参数——PostForm取到的都是空，而MultipartForm取得的form.Value也是空。

最后是我偶然想到试试看MultipartForm的form.File，结果发现原来参数都被解析到这里了……真不知道这个http标准库是怎么设计的，难道这么多Go用户都没有发现吗？还是说Go的用户实际上并没有那么多？

总之为了解决这个问题，只好自己写了一点代码来把File里的参数转到Value里去：

func req_getpart(v *multipart.FileHeader) (string, error) {
    f, err := v.Open()
    if err != nil {
        println("Open fail")
        return "", err
    }
    buf, err := ioutil.ReadAll(f)
    defer f.Close()
    if err != nil {
        println("Read fail")
        return "", err
    }
    return string(buf), nil
}

func req_multipart(c *gin.Context) *multipart.Form {
    form, _ := c.MultipartForm()
    if len(form.Value) == 0 && len(form.File) > 0 {
        for k, v := range form.File {
            if len(v) > 0 {
                buf, err := req_getpart(v[0])
                if err != nil {
                    continue
                }
                form.Value[k] = append(form.Value[k], buf)
            }
        }
        for k, _ := range form.Value {
            delete(form.File, k)
        }
    }
    return form
}

推送到[go4pro.org]