Python urlopen()和urlretrieve()用法解析

 更新时间:2020-01-07 22:11:30   作者:佚名   我要评论(0)

这篇文章主要介绍了Python urlopen()和urlretrieve()用法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

果博东方这篇文章主要介绍了Python urlopen()和urlretrieve()用法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1.urlopen()方法

urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。

参数url表示远程数据的路径,一般是网址;

参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式:post与get。如果你不清楚,也不必太在意,一般情况下很少用到这个参数);

参数proxies用于设置代理。

  • urlopen返回 一个类文件对象,它提供了如下方法:
  • read() , readline() , readlines() , fileno() , close() :这些方法的使用方式与文件对象完全一样;
  • info():返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息
  • getcode():返回Http状态码。如果是http请求,200表示请求成功完成;404表示网址未找到;
  • geturl():返回请求的url;

代码示例:

import urlliburl = "http://www.baidu.com/"#urlopen()sock = urllib.urlopen(url)htmlCode = sock.read()sock.closefp = open("e:/1.html","wb")fp.write(htmlCode)fp.close#urlretrieve()urllib.urlretrieve(url, 'e:/2.html')

2.urlretrieve方法

果博东方直接将远程数据下载到本地。

urllib.urlretrieve(url[, filename[, reporthook[, data]]])参数说明:url:外部或者本地urlfilename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。data:指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。

果博东方下面通过例子来演示一下这个方法的使用,这个例子将新浪果博东方的html抓取到本地,保存在D:/sina.html文件中,同时显示下载的进度。

import urllibdef callbackfunc(blocknum, blocksize, totalsize):  '''回调函数  @blocknum: 已经下载的数据块  @blocksize: 数据块的大小  @totalsize: 远程文件的大小  '''  percent = 100.0 * blocknum * blocksize / totalsize  if percent > 100:    percent = 100  print "%.2f%%"% percenturl = 'http://www.sina.com.cn'local = 'd:\\sina.html'urllib.urlretrieve(url, local, callbackfunc)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

您可能感兴趣的文章:

  • 详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果
  • python urllib urlopen()对象方法/代理的补充说明
  • 解决python3 urllib中urlopen报错的问题
  • Python使用urllib模块的urlopen超时问题解决方法
  • Python urlopen()函数 示例分享
  • Python urllib模块urlopen()与urlretrieve()详解
  • Python urlopen 使用小示例

果博东方相关的文章

  • Python urlopen()和urlretrieve()用法解析

    Python urlopen()和urlretrieve()用法解析

    这篇文章主要介绍了Python urlopen()和urlretrieve()用法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-01-07
  • golang通过context控制并发的应用场景实现

    golang通过context控制并发的应用场景实现

    golang 里出现多 goroutine 的场景很常见, 最常用的两种方式就是 WaitGroup 和 Context, 今天我们了解一下 Context 的应用场景使用场景场景一: 多goroutine执行
    2020-01-07
  • Pytorch中膨胀卷积的用法详解

    Pytorch中膨胀卷积的用法详解

    卷积和膨胀卷积在深度学习中,我们会碰到卷积的概念,我们知道卷积简单来理解就是累乘和累加,普通的卷积我们在此不做赘述,大家可以翻看相关书籍很好的理解。最近
    2020-01-07
  • PyTorch 普通卷积和空洞卷积实例

    PyTorch 普通卷积和空洞卷积实例

    如下所示:import numpy as npfrom torchvision.transforms import Compose, ToTensorfrom torch import nnimport torch.nn.init as initdef transform():
    2020-01-07
  • Spring基于xml文件配置Bean过程详解

    Spring基于xml文件配置Bean过程详解

    这篇文章主要介绍了spring基于xml文件配置Bean过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下通过全
    2020-01-07
  • PHP字符串与数组处理函数用法小结

    PHP字符串与数组处理函数用法小结

    本文实例讲述了PHP字符串与数组处理函数用法。分享给大家供大家参考,具体如下:字符串处理函数trim --去除字符串首尾的多余空白字符和其他字符函数结构:str
    2020-01-07
  • 解决vue elementUI中table里数字、字母、中文混合排序问题

    解决vue elementUI中table里数字、字母、中文混合排序问题

    1.使用场景使用elementUI中的table时,给包含数字字母中文的名称等字段排序例如:数字(0->9)->大写字母(A->Z)->小写字母(a->z)->中文拼音(a->z)2.代码解
    2020-01-07
  • 安装win10+黑苹果双系统零基础教程(图文)

    安装win10+黑苹果双系统零基础教程(图文)

    一、准备工作准备8g以上的U盘安装TransMac 下载地址:http://www.jb51.net/softs/596307.html安装Hasleo EasyUEFI 下载地址:http://www.jb51.net/softs/52710
    2020-01-07
  • Pytorch 神经网络—自定义数据集上实现教程

    Pytorch 神经网络—自定义数据集上实现教程

    第一步、导入需要的包import osimport scipy.io as sioimport numpy as npimport torchimport torch.nn as nnimport torch.backends.cudnn as cudnnimport
    2020-01-07
  • Matplotlib绘制雷达图和三维图的示例代码

    Matplotlib绘制雷达图和三维图的示例代码

    1.雷达图程序示例'''1.空白极坐标图'''import matplotlib.pyplot as plt plt.polar()plt.show() '''2.绘制一个极坐标点'''import numpy as npim
    2020-01-07

最新评论