当前位置:首页 >> 其它课程 >>

python的urllib2 模块解析


参考网址1: http://uliweb.clkg.org/tutorial/view_chapter/172 参考网址2: http://www.jeapedu.com/index.php?m=content&c=index& a=show&catid=6&id=20

? python是蜘蛛之王,蜘蛛离不开urllib。

urllib2 是

urllib 的另一个版本,有很多改进。 听说内部代码也好 了很多。 ? urllib2是python自带的一个访问网页和本地文件的库。 简单使用如下:

访问一个网址:
? import urllib2

? f=urllib2.urlopen("http://www.jeapedu.com") ? buf = f.read()

读一个本地文件:
? import urllib2

? f=urllib2.urlopen('file:./a.txt') ? buf=f.read()

如何获取库有那些函数或者类:
? >>> dir(f)

? ['__doc__', '__init__', '__iter__', '__module__',

'__repr__', 'close', 'code', 'fileno', 'fp', 'getcode', 'geturl', 'headers', 'info', 'next', 'read', 'readline', 'readlines', 'url'] ? >>>

中文地址解析:
? h4 = u'http://baidu.com?w=测试' ? h4=h4.encode('utf-8')

? urllib2.urlopen(h4) ? 最好用正确的编码转换一下。 上面的例子如果不用转

换的函数处理一下网址,会导致urlopen 失败。

分类操作
? FTP

? handler = urllib2.FTPHandler() ? request = urllib2.Request(url='ftp://ftp.ubuntu.com/') ? opener = urllib2.build_opener(handler) ? f = opener.open(request)
? print f.read() ? 如果需要用户名和密码: ? urllib2.Request(url='ftp://用户名:密码@ftp地址/')

更多资料下载
? Q群:139220186

? 智普教育python培训推荐教材。

HTTP
? handler = urllib2.HTTPHandler()

? request = urllib2.Request(url='http://ftp.ubuntu.com/') ? opener = urllib2.build_opener(handler) ? f = opener.open(request) ? print f.read()


相关文章:
用Python爬虫抓站的一些技巧
然而 python 的 urllib/urllib2 默认都不支持压缩, 要返回压缩格式, 必须在 ...2014教师资格材料分析辅... 2014小学教师资格考试《... 2014年幼儿园教师资格考...
python-unittest基本介绍
2 下面是 unittest 模块的常用方法: assertEqual(a, b) a == b assertNot...(url) File "/usr/lib/python2.7/urllib.py", line 462, in open_file ...
python 网络爬虫
我们可以这样解释它: ①这是一个可以通过 HTTP ...[python] view plaincopy 1. req = urllib2....丌用担心我癿反斜杠问题~ 二、 介绍 re 模块 2....
Python3.x和Python2.x的区别
Python3.x和Python2.x的区别_计算机软件及应用_IT...Python 会先解释 x or y,得到结果 x(如果 x 在...2. 在 Python 3 里,以前的 urllib2 模块被并入...
python编码问题
2.1、编辑器决定源代码的编码格式(在编辑器中设定) 2.2、也必须要解释器知道...python 的中文问题一直是困扰新手的头疼问题,这篇文章将给你详细地讲解一 下这...
更多相关标签: