Golang 使用http Client下载文件的实现方法

 更新时间:2019-09-09 09:01:31   作者:佚名   我要评论(0)

之前使用beego的http库的时候,有的情况需要下载文件。beego是能实现,但就是有点问题:不支持回调,没法显示下载速度,这在日常开发中是不可忍受的。
看了下be

果博东方之前使用beego的http库的时候,有的情况需要下载文件。beego是能实现,但就是有点问题:不支持回调,没法显示下载速度,这在日常开发中是不可忍受的。

果博东方看了下beego的实现主要是使用了io.copy函数,于是就深入的看了下实现原理,发现挺简单的,于是就根据io.copy原理实现的一个简单的下载器

//定义要下载的文件var durl = "http://dl.google.com/go/go1.10.3.darwin-amd64.pkg";//解析urluri, err := url.ParseRequestURI(durl)if err != nil { panic("网址错误")}

正常的一个流程先看看Url有没有错误

filename := path.Base(uri.Path)log.Println("[*] Filename " + filename)

使用path.Base取出url的文件名称,这里有个可能会出现bug的地方:如果这个网址是302跳转过去的话是没法取出跳转过后的文件名称。

果博东方取文件名称这步可以再发送http请求的时候 client.CheckRedirect定义一个函数取出文件名次即可。

client := http.DefaultClient;client.Timeout = time.Second * 60 //设置超时时间resp, err := client.Get(durl)

创建一个httpClient,另外这个客户端的Timeout是设置读取数据的时候多少时间算超时。

果博东方我这里比较推崇用Do方法传递一个Reqeust过去,应为有的url需要校验http头之类的,你问我为啥不用一个字懒。

raw := resp.Bodydefer raw.Close()reader := bufio.NewReaderSize(raw, 1024*32);

果博东方其实说实话不太清楚bufio能不能真正的加快htpp读取速度,没有做过跟不用bufio的对比。但是为了心理上的安心就加上去了

file, err := os.Create(filename)if err != nil { panic(err)}writer := bufio.NewWriter(file)

同上也不太确定bufio能对文件写入增加多少速度

buff := make([]byte, 32*1024)written := 0go func() { for {  nr, er := reader.Read(buff)  if nr > 0 {   nw, ew := writer.Write(buff[0:nr])   if nw > 0 {    written += nw   }   if ew != nil {    err = ew    break   }   if nr != nw {    err = io.ErrShortWrite    break   }  }  if er != nil {   if er != io.EOF {    err = er   }   break  } } if err != nil {  panic(err) }}()

果博东方这个源码是我直接复制io.copyBuffer函数的只是做了一些简单的修改理解大概意思就行

//间隔时间spaceTime := time.Second * 1//定时器ticker := time.NewTicker(spaceTime)//上次读取数据大小lastWtn := 0stop := falsefor { select { case <-ticker.C:  //这次读取的文件大小-上次读取的数据大小=速度  speed := written - lastWtn  log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())  if written-lastWtn == 0 {   ticker.Stop()   stop = true   break  }  lastWtn = written } if stop {  break }}

这段代码堵塞住程序,然后定时器按照间隔时间来计算速度。这里可能会出现bug的地方就是在间隔时间内没有读取到数据的时候回直接跳出循环。现在这个时间点非常困,写个blog已经困的要死了以后有空把这个bug解决了吧

func bytesToSize(length int) string { var k = 1024 // or 1024 var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"} if length == 0 {  return "0 Bytes" } i := math.Floor(math.Log(float64(length)) / math.Log(float64(k))) r := float64(length) / math.Pow(float64(k), i) return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]}

这个函数是我从我个人的php项目中转换过来的

2018/08/17 00:24:50 [*] Filename go1.10.3.darwin-amd64.pkg2018/08/17 00:24:51 [*] Speed 9.000 MB / 1s 2018/08/17 00:24:52 [*] Speed 11.125 MB / 1s 2018/08/17 00:24:53 [*] Speed 11.125 MB / 1s 2018/08/17 00:24:54 [*] Speed 10.562 MB / 1s 2018/08/17 00:24:55 [*] Speed 11.187 MB / 1s 2018/08/17 00:24:56 [*] Speed 11.109 MB / 1s 2018/08/17 00:24:57 [*] Speed 11.109 MB / 1s 2018/08/17 00:24:58 [*] Speed 11.141 MB / 1s 2018/08/17 00:24:59 [*] Speed 11.172 MB / 1s 2018/08/17 00:25:00 [*] Speed 11.141 MB / 1s 2018/08/17 00:25:01 [*] Speed 8.453 MB / 1s 2018/08/17 00:25:02 [*] Speed 6.385 MB / 1s 2018/08/17 00:25:03 [*] Speed 0 Bytes / 1s 

这是最终的运行结果,然后我再把全部的源码放在下面就去睡了。

package mainimport ( "net/http" "log" "time" "net/url" "path" "os" "io" "bufio" "math" "strconv")var durl = "http://dl.google.com/go/go1.10.3.darwin-amd64.pkg";func main() { uri, err := url.ParseRequestURI(durl) if err != nil {  panic("网址错误") } filename := path.Base(uri.Path) log.Println("[*] Filename " + filename) client := http.DefaultClient; client.Timeout = time.Second * 60 //设置超时时间 resp, err := client.Get(durl) if err != nil {  panic(err) } if resp.ContentLength <= 0 {  log.Println("[*] Destination server does not support breakpoint download.") } raw := resp.Body defer raw.Close() reader := bufio.NewReaderSize(raw, 1024*32); file, err := os.Create(filename) if err != nil {  panic(err) } writer := bufio.NewWriter(file) buff := make([]byte, 32*1024) written := 0 go func() {  for {   nr, er := reader.Read(buff)   if nr > 0 {    nw, ew := writer.Write(buff[0:nr])    if nw > 0 {     written += nw    }    if ew != nil {     err = ew     break    }    if nr != nw {     err = io.ErrShortWrite     break    }   }   if er != nil {    if er != io.EOF {     err = er    }    break   }  }  if err != nil {   panic(err)  } }() spaceTime := time.Second * 1 ticker := time.NewTicker(spaceTime) lastWtn := 0 stop := false for {  select {  case <-ticker.C:   speed := written - lastWtn   log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())   if written-lastWtn == 0 {    ticker.Stop()    stop = true    break   }   lastWtn = written  }  if stop {   break  } }}func bytesToSize(length int) string { var k = 1024 // or 1024 var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"} if length == 0 {  return "0 Bytes" } i := math.Floor(math.Log(float64(length)) / math.Log(float64(k))) r := float64(length) / math.Pow(float64(k), i) return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]}

果博东方以上这篇Golang 使用http Client下载文件的实现方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

您可能感兴趣的文章:

  • Go语言使用HTTP包创建WEB服务器的方法
  • go语言实现一个最简单的http文件服务器实例

果博东方相关的文章

  • 下载golang.org/x包的操作方法

    下载golang.org/x包的操作方法

    golang.org/x包放到了http://github.com/golang/text中,下载时需要先在本地建立golang.org/x的目录后,再下载。mkdir -p golang.org/xgit clone http://
    2019-09-09
  • Golang 使用http Client下载文件的实现方法

    Golang 使用http Client下载文件的实现方法

    之前使用beego的http库的时候,有的情况需要下载文件。beego是能实现,但就是有点问题:不支持回调,没法显示下载速度,这在日常开发中是不可忍受的。看了下be
    2019-09-09
  • 基于Go和Gin的环境配置方法

    基于Go和Gin的环境配置方法

    1.官方下载Go版本,安装相应平台的程序。2.配置Go的环境变量:GOROOT:GO安装路径,例如GOROOT = D:\GoGOPATH: 项目源码所在目录(例如GOPATH = E:\go),
    2019-09-09
  • golang 检查网络状态是否正常的方法

    golang 检查网络状态是否正常的方法

    如下所示:package mainimport ( "fmt" "os/exec" "time")func NetWorkStatus() bool { cmd := exec.Command("ping", "baidu.com", "-c", "1", "
    2019-09-09
  • gorm golang 并发连接数据库报错的解决方法

    gorm golang 并发连接数据库报错的解决方法

    底层报错 error:cannot assign requested address原因 并发场景下 client 频繁请求端口建立tcp连接导致端口被耗尽解决方案 root执行即可sysctl -w net.
    2019-09-09
  • golang socket断点续传大文件的实现方法

    golang socket断点续传大文件的实现方法

    在日常编程中,我们肯定会遇到用socket传送文件内容,如果是大文件的,总不能传送到一半因某原因断掉了,又从新传送文件内容吧。对,我们需要续传,也就是接着
    2019-09-09
  • golang http连接复用方法

    golang http连接复用方法

    server端golang httpserver 默认开启keepalive连接复用选项handler函数需要完整读body数据,构造返回消息,否则当数据不能一次发送完成时,连接复用就会失效
    2019-09-09
  • 详解golang 模板(template)的常用基本语法

    详解golang 模板(template)的常用基本语法

    模板在写动态页面的网站的时候,我们常常将不变的部分提出成为模板,可变部分通过后端程序的渲染来生成动态网页,golang提供了html/template包来支持模板
    2019-09-09
  • golang并发下载多个文件的方法

    golang并发下载多个文件的方法

    背景说明假设有一个分布式文件系统,现需要从该系统中并发下载一部分文件到本地机器。已知该文件系统的部分节点ip, 以及需要下载的文件fileID列表,并能通过
    2019-09-09
  • golang解析html网页的方法

    golang解析html网页的方法

    1.先看一下整个结构:主要是web和html目录,分别存放go代码和html相关的资源文件。2.html代码比较简单,代码如下:<html> <head> <title>Go web</tit
    2019-09-09

最新评论