加入收藏 | 设为首页 | 会员中心 | 我要投稿 安阳站长网 (https://www.0372zz.cn/)- 高性能计算、分布式云、混合云存储、云计算、视频终端!
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

优雅的读取http请求或响应的数据

发布时间:2019-01-31 15:10:28 所属栏目:教程 来源:戚银
导读:从 http.Request.Body 或 http.Response.Body 中读取数据方法或许很多,标准库中大多数使用 ioutil.ReadAll 方法一次读取所有数据,如果是 json 格式的数据还可以使用 json.NewDecoder 从 io.Reader 创建一个解析器,假使使用 pprof 来分析程序总是会发现

使用 sync.Pool 的方式是不是有点怪,主要是 defer 和 api.pool.Put(buffer);buffer = nil 这里解释一下,为了提高 buufer 的复用率会在不使用时尽快把 buffer 放回到缓冲池中,defer 之所以会判断 buffer != nil 主要是在业务逻辑出现错误时,但是 buffer 还没有放回缓冲池时把 buffer 放回到缓冲池,因为在每个错误处理之后都写 api.pool.Put(buffer) 不是一个好的方法,而且容易忘记,但是如果在确定不再使用时 api.pool.Put(buffer);buffer = nil 就可以尽早把 buffer 放回到缓冲池中,提高复用率,减少新建 buffer。

这样就好了吗,别急,之前说服务里面还会构建请求,看看构建请求如何优化吧。

  1. package adapter 
  2.  
  3. import ( 
  4.     "bytes" 
  5.     "fmt" 
  6.     "io" 
  7.     "io/ioutil" 
  8.     "net/http" 
  9.     "sync" 
  10.  
  11.     "github.com/json-iterator/go" 
  12.     "github.com/sirupsen/logrus" 
  13.     "github.com/thinkeridea/go-extend/exbytes" 
  14. ) 
  15.  
  16. type Adapter struct { 
  17.     pool sync.Pool 
  18. } 
  19.  
  20. func New() *Adapter { 
  21.     return &Adapter{ 
  22.         pool: sync.Pool{ 
  23.             New: func() interface{} { 
  24.                 return bytes.NewBuffer(make([]byte, 4096)) 
  25.             }, 
  26.         }, 
  27.     } 
  28. } 
  29.  
  30. func (api *Adapter) Request(r *Request) (*Response, error) { 
  31.     var err error 
  32.     buffer := api.pool.Get().(*bytes.Buffer) 
  33.     buffer.Reset() 
  34.     defer func() { 
  35.         if buffer != nil { 
  36.             api.pool.Put(buffer) 
  37.             buffer = nil 
  38.         } 
  39.     }() 
  40.  
  41.     e := jsoniter.NewEncoder(buffer) 
  42.     err = e.Encode(r) 
  43.     if err != nil { 
  44.         logrus.WithFields(logrus.Fields{ 
  45.             "request": r, 
  46.         }).Errorf("jsoniter.Marshal failure: %v", err) 
  47.         return nil, fmt.Errorf("jsoniter.Marshal failure: %v", err) 
  48.     } 
  49.  
  50.     data := buffer.Bytes() 
  51.     req, err := http.NewRequest("POST", "http://xxx.com", buffer) 
  52.     if err != nil { 
  53.         logrus.WithFields(logrus.Fields{ 
  54.             "data": exbytes.ToString(data), 
  55.         }).Errorf("http.NewRequest failed: %v", err) 
  56.         return nil, fmt.Errorf("http.NewRequest failed: %v", err) 
  57.     } 
  58.  
  59.     req.Header.Set("User-Agent", "xxx") 
  60.  
  61.     httpResponse, err := http.DefaultClient.Do(req) 
  62.     if httpResponse != nil { 
  63.         defer func() { 
  64.             io.Copy(ioutil.Discard, httpResponse.Body) 
  65.             httpResponse.Body.Close() 
  66.         }() 
  67.     } 
  68.  
  69.     if err != nil { 
  70.         logrus.WithFields(logrus.Fields{ 
  71.             "url": "http://xxx.com", 
  72.         }).Errorf("query service failed %v", err) 
  73.         return nil, fmt.Errorf("query service failed %v", err) 
  74.     } 
  75.  
  76.     if httpResponse.StatusCode != 200 { 
  77.         logrus.WithFields(logrus.Fields{ 
  78.             "url":         "http://xxx.com", 
  79.             "status":      httpResponse.Status, 
  80.             "status_code": httpResponse.StatusCode, 
  81.         }).Errorf("invalid http status code") 
  82.         return nil, fmt.Errorf("invalid http status code") 
  83.     } 
  84.  
  85.     buffer.Reset() 
  86.     _, err = io.Copy(buffer, httpResponse.Body) 
  87.     if err != nil { 
  88.         return nil, fmt.Errorf("adapter io.copy failure error:%v", err) 
  89.     } 
  90.  
  91.     respData := buffer.Bytes() 
  92.     logrus.WithFields(logrus.Fields{ 
  93.         "response_json": exbytes.ToString(respData), 
  94.     }).Debug("response json") 
  95.  
  96.     res := &Response{} 
  97.     err = jsoniter.Unmarshal(respData, res) 
  98.     if err != nil { 
  99.         logrus.WithFields(logrus.Fields{ 
  100.             "data": exbytes.ToString(respData), 
  101.             "url":  "http://xxx.com", 
  102.         }).Errorf("adapter jsoniter.Unmarshal failed, error:%v", err) 
  103.         return nil, fmt.Errorf("adapter jsoniter.Unmarshal failed, error:%v", err) 
  104.     } 
  105.      
  106.     api.pool.Put(buffer) 
  107.     buffer = nil 
  108.  
  109.     // ... 
  110.     return res, nil 
  111. } 

(编辑:安阳站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读