驴妈妈游记爬虫思路

小编 2026-06-05 阅读:1207 评论:0
1.第一步找网址 只一次发现是分页模式,分页模式就需要分页的爬取方法,需要百度学习下分页的爬取技术 2.处理分页 3.Xpath处理需要爬取的内容 我主要选择了标题,游记属性,章节目录和内容 四块内...

1.第一步找网址

只一次发现是分页模式,分页模式就需要分页的爬取方法,需要百度学习下分页的爬取技术

2.处理分页

3.Xpath处理需要爬取的内容

我主要选择了标题,游记属性,章节目录和内容 四块内容

标题

梦幻川西之旅(毕棚沟—鹧鸪山—成都)

游记属性 

小樱子angel||2018-12-09发布||12月出游||119张照片

章节目录 

>>美图预告>>毕棚沟,隐藏在山沟里的一片冰雪世界>>鹧鸪山,一个梦幻童心的冰雪世界
>>宽窄巷子,来成都必去的景点打卡地>>太古里,网红街拍好去处
>>冬日的成都街头,秋意依然浓厚>>川西不能错过的美食>>关于住宿>>旅行后的碎碎念

内容 

作为在南方长大的孩子,总觉得从小没有看过雪是成长中的一种遗憾。而长大后,
就觉得有雪的世界才是冬天该有的样子。每到冬季,总会想要到那下雪的圣地走一走,
幻想着眼前白雪飘飘的一片世界,那该有多美!所以,
这几年也陆陆续续的借着旅行的机会目睹过那些冰雪世界,总算是把小时候的遗憾补回来了。

但人总是“贪心”的嘛,对于总痴迷于冰雪世界的我来说今年也不想在无
雪的南方平淡的度过这个冬季,所以,在即将踏入12月的南方还热得穿
着短袖的孩子,决定要去过一个有雪的冬天,于是,收拾起冬装,去那
有着大自然美的四川,开启了一场梦幻的冰雪约会!

 4.导入数据库中存储

因研究需要后期我又改成了其他城市

\"\"

作者微信号w912917507

\"\"

版权声明

本文仅代表作者观点,不代表百度立场。
本文系作者授权百度百家发表,未经许可,不得转载。

热门文章
  • 机房智能化温湿度解决方式之POE供电以太网温湿度传感器

    机房智能化温湿度解决方式之POE供电以太网温湿度传感器
    机房智能化温湿度解决方式之POE供电以太网温湿度传感器 北京盈创力和电子科技有限公司 智能型TCP网口温湿度记录仪 北京IP网络温湿度记录仪厂家,北京盈创力和 北京智能型TCP网口温湿度记录仪IP网络温湿度记录仪是一种新型的基于TCP/IP协议双绞线以太网标准温湿度采集模块,利用它可以实现现场温度值、相对湿度值的采集,同时利用其自身的RJ45通信接口可以方便地和机房监控主机或交换机集线器进行联网。 工作于-40℃~85℃工业级带...
  • Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering

    Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering
    Problem Statement 我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model):对于一个时间序列上的观测结果{yt,t∈N}\\{ y_t , t \\in N \\}{yt​,t∈N},我们认为每个观测结果yty_tyt​的生成依赖于一个无法直接观察的隐变量xt∈{xt,t∈N}x_t \\in \\{x_t , t \\in N \\}xt​∈{xt​,t∈N},即:p(...
  • HTTP状态保持的原理

    HTTP状态保持的原理
    a)在用户登录之后,浏览器返回响应的时候会在响应中添加上cookieb)浏览器接收到cookie之后会自动保存c)当用户再次请求同一服务器中的其他网页的时候,浏览器会自动带上之前保存的cookied)服务接收到请求之后可以请 request 对象中取到cookie 判断当前用户是否登录  Http是无状态的,就是连接时数据互通,关闭后...
  • Hive 系统函数及示例

    Hive 系统函数及示例
    查看所有系统函数 show functions; 函数分类 内置函数【系统函数】 数学函数: floor、round、ceil、cos、log2等 字符串函数: length、reverse、trim、lower、get_json_object、repeat等 收集函数: size 转换函数: cast 日期函数: year、month、datediff、date、date_add等 条件函数: coalesce、case…w...
  • CSRF的原理和防范措施

    CSRF的原理和防范措施
    a)攻击原理:i.用户C访问正常网站A时进行登录,浏览器保存A的cookieii.用户C再访问攻击网站B,网站B上有某个隐藏的链接或者图片标签会自动请求网站A的URL地址,例如表单提交,传指定的参数iii.而攻击网站B在访问网站A的时候,浏览器会自动带上网站A的cookieiv.所以网站A在接收到请求之后可判断当前用户是登录状态,所以...
标签列表