Repository files navigation

在这个项目中，我们将带你深入探索 Python 爬虫的世界。从基础的网页结构到高级的数据获取技巧，我们的课程为你准备了全面的实战演练。

本项目计划用于2024成都理工大学人工智能协会技术培训使用。

• 第0节 网页前端基础
• 第1节 爬虫基础
• 第2节 图片爬取
• 第3节 小说爬取
• 第4节 使用API获取数据
• 第5节 使用selenium爬取动态内容
• 第6节 使用scrapy框架进行爬虫
• 演示代码1 使用正则表达式获取特定文本
• 演示代码2 使用高德地图API爬经纬度数据
• 演示代码3 使用Selenium爬取b站视频评论
• 演示代码4 使用异步并发进行爬虫

• 掌握HTML的语言逻辑和文件基本结构
• 能够识别HTML的常用标签，掌握通用容器的概念
• 了解HTML和CSS的关系
• 了解HTML和DOM、JavaScript之间的关系

• 初步了解爬虫程序的设计逻辑
• 初步掌握request、beautifulsoup库的用法
• 学会用os库创建文件夹并保存文件
• 了解HTTP/HTTPS协议的基本内容
• 理解爬虫的伦理和法律

• 进一步掌握爬虫程序的设计逻辑
• 进一步掌握beautifulsoup库的用法
• 学会异常处理、使用代理头等爬虫优化方法
• 学会通过读取csv文件进行爬虫（pandas基础）

• 进一步了解爬虫程序的设计逻辑
• 进一步掌握beautifulsoup、os库的用法
• 学会延长响应时间、增加请求次数等爬虫优化方法
• 学会将请求失败的日志信息输出到csv文件中（pandas基础）

• 进一步掌握request库的用法
• 学会使用JSON文件保存数据
• 学会看懂官方文档

• 进一步掌握os库的用法
• 学会下载安装chrome和chromedriver
• 了解使用selenium进行爬虫的流程

• 感受所谓“框架”的含义
• 了解使用scrapy框架进行爬虫的基本流程

演示代码不做教学要求（即不用手把手书写过程），而是作为正面/反面教材去讲解其中值得学习/反思的地方

本项目采用 MIT 许可证。详情请参阅LICENSE 文件。