什么是Python爬虫？一篇文章让你全面了解爬虫

爬虫也称为“网络爬虫”，是一种能够自动访问互联网并下载网站内容的程序。它也是搜索引擎的基础。百度和GOOGLE依靠强大的网络爬虫检索海量的互联网信息，然后存储在云端，为网民提供高质量的搜索服务。

2、爬虫有什么用？

你可能会说，除了做搜索引擎公司，学习爬虫还有什么用呢？哈哈，终于有人想到了。打个比方：A企业建立了一个用户论坛，很多用户在论坛上留言自己的使用体验等。现在A需要了解用户需求，分析用户偏好，为下一轮产品迭代更新做好准备。那么如何获取数据呢，当然需要爬虫软件从论坛获取。因此，除了百度、GOOGLE之外，很多公司都在高薪招聘爬虫工程师。你可以在任何招聘网站上搜索“爬虫工程师”，查看职位数量和薪资范围，了解爬虫的受欢迎程度。

3.爬虫原理

发起请求：通过HTTP协议向目标站点发送请求（a request），然后等待目标站点服务器的响应。

获取响应内容：如果服务器能够正常响应，你会得到一个Response。 Response的内容就是要获取的页面内容。响应内容可能包括HTML、Json字符串、二进制数据（如图片、视频）等。

解析内容：获取到的内容可能是HTML，可以使用正则表达式和网页解析库进行解析；可能是Json，可以直接转为Json对象解析；它可能是二进制数据，可以保存或进一步处理。

4.Python爬虫示例

爬虫的定义、功能、原理等信息前面已经介绍过了。相信很多朋友已经对爬虫产生了兴趣，准备尝试一下。现在我们进入“干货”，直接贴一段简单的Python爬虫的代码：

1.准备工作：安装Python环境，安装PYCHARM软件，安装MYSQL数据库，新建数据库考试，考试中建一个table house，用于存储爬虫结果【SQL语句：create table house(price varchar(88),unit varchar(88),区域varchar(88));]

2、爬虫的目标：爬取链家租房网首页（url: https://bj.lianjia.com/zufang/）内所有房屋的价格、户型、面积，然后将爬虫结构保存到数据库中。

3.爬虫源码：如下

import requests #请求URL页面内容

from bs4 import BeautifulSoup #获取页面元素

import pymysql #链接数据库

导入时间#time函数

import l #解析库（支持HTML\ 解析，支持XPATH解析）

#get_page功能：通过requests的get方法获取url链接的内容，然后整合成BeautifulSoup可以处理的格式

def get_page(url):

响应=requests.get(url)

汤=BeautifulSoup(response.text, 'l ')

回汤

#get_ s函数的作用：获取列表页所有出租链接

def get_ s( _url):

汤=get_page( _url)

s_div=soup.find_all('div',class_='pic-panel')

s=[div.a.get('href') for div in s_div]

返回链接

#get_house_info函数用于获取某个租房页面的信息：价格、户型、面积等。

def get_house_info(house_url):

汤=get_page(house_url)

价格=soup.find('span',class_='total').text

单位=soup.find('span',class_='unit').text.strip()

area='test' #这里在area字段我们自定义一个test进行测试

信息={

‘价格’:价格，

‘单位’:unit，

'区域':区域

}

返回信息

#将数据库配置信息写入字典中

数据库={

'主机': '127.0.0.1',

'数据库': '考试',

'用户':'根'，

'密码' : '根',

'字符集':'utf8mb4'}

#链接数据库

def get_db(设置):

返回pymysql.connect(**设置)

#将爬虫获取的数据插入数据库

def 插入（数据库，房屋）:

值=''{}','*2 + ''{}''

sql_values=value.format(house['价格'],house['单位'],house['面积'])

sql='''

插入房屋（价格，单位，面积）值（{}）

'''.format(sql_values)

光标=db.cursor()

游标.执行(sql)

db.commit()

#主程序流程： 1.连接数据库2.获取各楼盘信息的URL列表3.FOR循环从第一个URL开始，获取楼盘的具体信息（价格等） 4.插入数据库逐个

db=get_db(数据库)

s=get_ s('https://bj.lianjia.com/zufang/')

对于 s: 中的链接

时间.睡眠(2)

房子=get_house_info（链接）

插入（数据库，房屋）

首先，“工欲善其事，必先利其器”。用Python编写爬虫程序也是同样的道理。在编写爬虫的过程中，需要导入各种库文件。正是这些有用的库文件帮助我们完成了爬虫。对于大部分工作，我们只需要调用相关的借口函数即可。导入的格式为导入库文件名。

这里需要注意的是PYCHARM中安装库文件。您可以通过将光标放在库文件名上并同时按ctrl+alt 键来安装它。也可以通过命令行安装（pip install库文件名）。如果安装失败或者没有安装的话，后续的爬虫程序肯定会报错。这段代码中，程序前五行导入相关库文件：requests用于请求URL页面内容； BeautifulSoup用于解析页面元素； pymysql用于连接数据库； time 包含各种时间函数； l 是一个解析库，用于解析HTML和 格式的文件，并且它还支持XPATH解析。

其次我们从代码末尾的主程序开始看一下整个爬虫流程：

通过get_db函数连接到数据库。深入了解get_db 函数，您可以看到通过调用

Pymysql的connect函数实现数据库连接。 **这里设置是Python收集关键字参数的一种方式。我们将数据库连接信息写入到字典Data 中，并将字典中的信息传递给连接执行。参。

通过get_ s函数，获取链家首页所有房源的链接。所有属性的链接都以列表形式存储在链接中。 get_ s函数首先通过requests获取链家网首页的内容，然后利用BeautifulSoup的接口将内容的格式组织成自己可以处理的格式。最后通过电泳find_all函数找到所有包含图像的div样式，然后使用for循环获取所有div样式包含的超链接选项卡（a）的内容（即href属性的内容）。所有超链接都存储在链接列表中。

使用FOR循环遍历 s中的所有链接（例如其中一个链接为：https://bj.lianjia.com/zufang/101101570737.html）

采用与2）相同的方法，通过find函数定位元素，获取3）中链接中的价格、单位、面积信息，并将这些信息写入字典Info中。

调用insert函数将从某个链接获取的Info信息写入数据库的house表中。深入到insert函数我们可以知道，它是利用数据库的游标函数cursor()来执行一条SQL语句，然后数据库进行commit操作来实现响应函数。这里的SQL语句的写法比较特殊。使用

format函数用于格式化。这样做是为了方便函数的重用。

最后，运行爬虫代码后，可以看到链家首页的所有房源信息都已写入数据中。 （注：test是我手动指定的测试字符串）