Python——网络数据采集（三）

网络数据采集过程中你应该考虑的两个问题：

1. 该数据采集器需要消耗的网络流量（越少越好）；
2. 该数据采集器对目标网站服务器的负载（越低越好）；

采集网站数据的思路：

1. 需要通过输入关键字符构建一个初始的网站URL链接；
2. 通过解析网页遍历所有的链接，使用正则表达式筛选自己需要的链接；
3. 在返回的链接中随机选择一个链接，再次循环；
   需要注意：
4. 正则表达式构建目标链接需要嵌在BeautifulSoup中的find或findall使用；
5. 使用random模块生成随机数时，为了保证随机数种子的不同，建议使用计算机中当时的时间。如”random.seed(datetime.datetime.now()) “
   以下是在维基百科中输入china后返回的链接

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import datetime 
import random 
import re 
 
random.seed(datetime.datetime.now()) 
def get s(articleUrl):     
    html = urlopen(\"http://en.wikipedia.org\"+articleUrl)     
    bsObj = BeautifulSoup(html)     
    return bsObj.find(\"div\", {\"id\":\"bodyContent\"}).findAll(\"a\",href=re.compile(\"^(/wiki/)((?!:).)*$\")) 
 s = get s(\"/wiki/china\") 
while len( s) > 0:     
    newArticle =  s[random.randint(0, len( s)-1)].attrs[\"href\"]     
    print(newArticle)     
     s = get s(newArticle)