当前位置:
首页 > 计算机等级考试 > python为什么叫爬虫(赵剑)

知识点

python为什么叫爬虫(赵剑)

爬虫一般指网络资源的抓取,因为python的脚本特性容易配置,字符也很灵活,python有丰富的网络抓取模块,所以经常链接在一起。

为什么python被称为爬行动物

爬虫,也就是网页爬虫,可以理解为在网上爬行的蜘蛛,把网比作大网,爬虫就是在这个网上爬来爬去的蜘蛛。如果它遇到猎物(需要的资源),就会去抢。比如它在爬一个网页的时候,在这个网页里找到一条路,其实就是指向这个网页的超链接,这样它就可以爬到另一个网页上去获取数据。

由于python的脚本特性,python易于配置,处理字符也非常灵活。另外python有丰富的网络爬行模块,所以经常会链接在一起。

Python爬虫开发工程师从网站的某个页面(通常是第一页)开始,读取网页的内容,在网页中找到其他链接地址,然后通过这些链接地址搜索下一个网页,然后一直进行下去,直到该网站的所有网页都被抓取。

python爬虫的应用

系统编程:提供API(应用编程接口),方便系统维护和管理。Linux下的符号语言之一,是很多系统管理员的理想编程工具。

图形处理:支持PIL,Tkinter等图形库,方便图形处理。

数学处理:NumPy扩展提供了大量的接口,有很多标准的数学库。

Web编程:支持最新XML技术的应用开发语言。

多媒体应用:Python的PyOpenGL模块封装了“OpenGL应用编程接口”,可以处理2D和3D图像。PyGame模块可以用来写游戏软件。

Pymo引擎:PYMO被称为python memories off,是一个运行在Symbian S60v3、Symbian 3、S60V5、Symbian 3和Android系统上的AVG游戏引擎。它之所以被命名为PYMO,是因为它是在python2.0平台上开发的,适用于创建带有秋天记忆风格的AVG游戏。