数据采集技术

沈翠新,薛海燕,邓雪峰

目录

  • 1 课程情况
    • 1.1 课程简介
    • 1.2 教学标准
  • 2 第一单元 初识爬虫
    • 2.1 前导知识:走入爬虫
    • 2.2 前导知识:requests库
    • 2.3 项目1:深职院Logo图片获取
    • 2.4 前导知识:认识BS4
    • 2.5 前导知识:查找标签对象的方法
    • 2.6 项目2:深职要闻数据获取
      • 2.6.1 微课视频
      • 2.6.2 操作视频
    • 2.7 前导知识:CSS选择器
    • 2.8 项目3:酷狗音乐top500的歌曲信息
      • 2.8.1 微课视频
      • 2.8.2 操作视频
    • 2.9 演示动画:http的请求与响应
    • 2.10 本章源码
    • 2.11 本章课件
    • 2.12 思政小课堂:爬虫背后的法律风险
  • 3 第二单元 正则表达式与爬虫
    • 3.1 前导知识:正则表达式与数据获取
    • 3.2 项目4:斗破苍穹小说数据获取
      • 3.2.1 微课视频
      • 3.2.2 操作视频
    • 3.3 前导知识:异步加载与爬虫
    • 3.4 项目5:简书网IT互联网专题文章
      • 3.4.1 微课视频
      • 3.4.2 操作视频
    • 3.5 本章源码
    • 3.6 本章课件
    • 3.7 思政小课堂: robots协议
  • 4 第三单元 数据存储
    • 4.1 前导知识:使用sqlite存储数据
    • 4.2 项目6:深圳7天天气预报数据获取及存储
      • 4.2.1 微课视频
      • 4.2.2 操作视频
    • 4.3 项目7:使用mysql存储数据
    • 4.4 本章源码
    • 4.5 本章课件
    • 4.6 思政小课堂:数据的背后
  • 5 第四单元网站的爬取策略
    • 5.1 前导知识:深度优先与广度优先
    • 5.2 项目8:国家统计局区划代码获取(使用递归)
    • 5.3 项目9:国家统计局区划代码获取(使用栈)
    • 5.4 演示动画:宽度与深度优先
    • 5.5 本章源码
    • 5.6 本章课件
    • 5.7 思政小课堂:侵权边界在哪
  • 6 第五单元 API与Selenium
    • 6.1 前导知识:API与json格式
    • 6.2 项目10:天气预报数据获取(使用和风天气API)
      • 6.2.1 微课视频
      • 6.2.2 操作视频
    • 6.3 项目11:新浪财经股票实时数据获取
      • 6.3.1 微课视频
      • 6.3.2 操作视频
    • 6.4 前导知识:什么是selenium
    • 6.5 项目12:登录CC网并获取签到数据
      • 6.5.1 微课视频
      • 6.5.2 超星学习通登录与数据点击
    • 6.6 本章源码
    • 6.7 本章课件
    • 6.8 思政小课堂:规范数据流通共享
  • 7 第六单元 scrapy框架基础
    • 7.1 前导知识:scrapy框架原理
    • 7.2 前导知识:scrapy框架入门
    • 7.3 前导知识:数据解析
    • 7.4 项目13:scrapy爬虫实验室数据获取
      • 7.4.1 微课视频
      • 7.4.2 操作视频
    • 7.5 演示动画:scrapy的运行原理
    • 7.6 本章课件
    • 7.7 思政小课堂:实施国家大数据战略的五个“要”​
  • 8 第七单元scrapy框架应用
    • 8.1 前导知识:数据存储
    • 8.2 项目14:爬虫实验室数据存储
    • 8.3 思政小课堂:课程的技术规范
  • 9 第八单元综合应用
    • 9.1 综合应用要求
    • 9.2 项目15:链家租房数据获取
    • 9.3 本章课件
    • 9.4 本章源码
思政小课堂:爬虫背后的法律风险


大家都说技术无罪,但是也要看场景,据说现在国内做个人信用评测的,都是要用户授权各种账号,然后爬取信息。

先来看一些法律法规里对个人信息使用的规定

《中华人民共和国网络安全法》

2016年11月7日发布的《中华人民共和国网络安全法》明确“个人信息”是指是指以电子或者其他方式记录的能够单独或者与其他信息结合识别自然人个人身份的各种信息,包括但不限于自然人的姓名、出生日期、身份证件号码、个人生物识别信息、住址、电话号码等,就网络服务中的个人信息保护问题作出系统规定如下:

1、保护个人信息:
网络产品、服务具有收集用户信息功能的,其提供者应当向用户明示并取得同意;涉及用户个人信息的,还应当遵守本法和有关法律、行政法规关于个人信息保护的规定。

2、合法收集使用个人信息:
网络运营者收集、使用个人信息,应当遵循合法、正当、必要的原则,公开收集、使用规则,明示收集、使用信息的目的、方式和范围,并经被收集者同意。不得收集与其提供的服务无关的个人信息,不得违反法律、行政法规的规定和双方的约定收集、使用个人信息,并应当依照法律、行政法规的规定和与用户的约定,处理其保存的个人信息。

3、不得向他人提供个人信息:
网络运营者不得泄露、篡改、毁损其收集的个人信息,未经被收集者同意,不得向他人提供个人信息,但经过处理无法识别特定个人且不能复原的除外。

 

《规范互联网信息服务市场秩序若干规定》

《规范互联网信息服务市场秩序若干规定》(工业和信息化部令第20号,以下简称“20号文”)就互联网信息服务提供者信息搜集规定如下方面:

1、搜集须经许可:未经用户同意,不得搜集与用户相关、能够单独或者与其他信息结合识别用户的信息(“用户个人信息”),但法律法规另有规定除外;
2、限定搜集范围和用途:经用户同意搜集用户个人信息的,应当明确告知搜集和处理用户个人信息的方式、内容和用途,不得收集其提供服务所必需以外的信息,不得将用户个人信息用于其提供服务之外的目的;
3、用户个人信息保障:互联网信息服务提供者应当加强系统安全防护,妥善保管用户个人信息,未经用户同意,不得向他人提供用户上载信息,但是法律法规另有规定的除外。

爬虫本质是一种工具,一种用机器人代替人手操作、搜集信息提高效率的工具。工具无罪,有罪的是如何使用。

对于涉及法律风险的数据爬取要求,程序员最好在采集前和老板深聊一下,明确法律风险,或者事先和公司签署一份免责协议。