爬虫爬取全校学生的成绩
A. python爬虫爬取的数据可以做什么
爬虫的概念是，爬取网上能看到的数据，也就是只要网上存在的，通过浏览器可以看到的数据。爬虫都可以爬取。爬虫爬取的原理就是伪装成浏览器，然后进行爬取操作
哪些数据你需要你就可以爬取。比如爬取公司竞争对手的商业数据，爬取电影，音乐，图片等等的。只要你希望得到的，前提浏览器可以访问的都可以爬取
B. 爬虫爬取的页面，需要登录之后才能爬取数据，我该怎么办
那就写登录呗……有的站没办法，据说有方法绕过登录，我是么明白原理
C. 如何分析网站网页爬虫爬取规则
既然确定了用爬虫来自动整理文章，你得先理解爬虫是什么。爬虫说白了就是一个脚本程序。说到脚本，我们平时遇到一些费时费力又容易出错的活儿，都可以把用到的命令写到脚本里，让计算机自动来执行。测试同学说的自动化脚本，运维同学说的环境配置脚本，都是这个意思。一个脚本包含了很多命令，一个接一个，告诉计算机第一步干什么，之后干什么，最后干什么。
在这里，我们的目标很明确，就是写一个爬虫脚本，让计算机一步一步的把「给产品经理讲技术」的所有历史文章，保存成pdf。
历史文章哪里去找？正好，微信公众号的关注界面有一个查看历史消息的链接。
点开历史消息，这个页面每次显示10篇文章，如果用户滑到底，就会再加载10篇出来，典型的异步加载。我们要找的，就是每篇文章的URL地址。只要找到所有文章的URL，就能下载到每篇文章的内容和图片，然后就可以进一步加工处理成pdf了。
为此，我们长按页面选择在浏览器中打开，然后把地址栏里的URL复制出来，发送到电脑上，用Chrome打开。用Chrome的最大好处，就是它有一个「开发人员工具」，可以直接查看网页的源码。按下command+option+L，打开开发人员工具，就能看到这个网页的源码了。我们要找的东西，就藏在这些乱七八糟的HTML代码里。
如何从HTML源码里找到我们想要的文章链接呢？
这要从HTML的结构说起。HTML全称超文本标记语言，所谓标记，就是说是它通过很多标签来描述一个网页。你看到很多像以开始，以结束的标志，就是标签。这些标签一般成对出现，标签里面还可以套标签，表示一种层级关系。最外面的html标签是最大的，head、body次之，一层一层下来，最后才是一段文字，一个链接。你可以把它类比成一个人，这个人叫html，有head，有body，body上有hand，hand上面有finger。
扯远了，一些常用的标签：
1、<head>。一个网页的很多重要信息，都是在这里声明的。比如说标题，就是在<head>下的<title>里定义的。一个网页用到的CSS样式，可以在<head>下的<style>里定义。还有你写的JavaScript代码，也可以在<head>下的<script>里定义。
2、<body>。它包含的东西就多了，基本上我们能看到的东西，一段文字，一张图片，一个链接，都在这里面。比如说：
<p>表示一个段落
<h1>是一段文字的大标题
<a>表示一个链接
<img>表示一张图
<form>是一个表单
<div>是一个区块
计算机是如何理解HTML的标签的呢？其实很简单，它就是一棵树。你可以把<html>当做树根，从树根上分出<head>和<body>，各个分支上又有新的分支，直到不能再分为止。这有点类似我们电脑上存放的文件。假设你有一本《21天学习C++》的电子书，存在D盘、study文件夹下的CS文件夹里。而study文件夹里除了CS文件夹，还有GRE、岛国文化等目录，代表着另一个分支体系。这也是一棵树。树上的每一片叶子，都有一条从根部可以到达的路径，可以方便计算机去查找。
回到正题，有了这些基础知识，我么再来看微信这个历史消息页面。从最外层的<html>标签开始，一层一层展开，中间有<body>、有<div>、最后找到一个<a>标签，标签里面的hrefs就是每篇文章的URL了。把这个URL复制下来，在新的TAB打开，确认确实是文章的地址。
现在我们通过分析一个网页的结构、标签，找到了我们想要的文章URL，我们就可以写爬虫去模拟这个过程了。爬虫拿到网页之后，我们可以用正则表达式去查找这个<a>标签，当然，也可以用一些更高级的手段来找。
D. 通过爬虫爬取互联网公开新闻信息等，并做展现，打开会直接打开原网站，这种涉及侵权吗
可以抄的，首先要自己会写代码学习爬袭虫可以从下面一些知识点入手学习。 1、http相关知识。 2、浏览器拦截、抓包。 3、python2 中编码知识，python3 中bytes 和str类型转换。 4、抓取javascript 动态生成的内容。 4、模拟post、get，header等 5、cookie处理，登录。 6、代理访问。 7、多线程访问、python 3 asyncio 异步。 8、正则表达式、xpath等等等。。。。还有scrapy requests等第三方库的使用。
E. 使用爬虫爬取数据违法吗
爬虫不违法，违法的是不遵从网站的爬虫协议，对网站造成负担，对正常用户造成影响。
其次，搜索引擎也是爬虫，爬虫协议就是告诉爬虫怎么爬取可以。
最后，没有官方接口或者已经下架的接口，爬取这些信息肯定是违法的，轻重而已；
当然这是法律意义的，实际上爬虫到底违法不违法，看看案例就知道了。不对对方造成损失，不侵犯未公开接口，就没有问题。
F. 如何用爬虫爬取国家统计局网站
我是一直主张在爬虫中抄嵌入一个浏览器，现在用python编程，实现这个方案是很容易的，有很多浏览器driver。内嵌浏览器的话，相当于模拟人的浏览行为，网站的屏蔽爬虫的措施可以避开一些，有些网站不是为了屏蔽爬虫，但是从会话的完整性方面会要求传递一些http参数，这种情况也可以有效的完整支持。
但是，很多程序员反对用一个完整的浏览器做内容解析和渲染和js执行，因为速度会慢很多。其实，我们爬一个网站，大部分情形下是针对唯一一个网站一口气爬很多，这种情形更多要考虑会不会爬的太快了。所以，速度问题大可不必那么在意。
G. Python爬虫爬取图片问题 用正则规则匹配到一个网页的所有图片的网址规则，请问如何用遍历把正则
^
#encoding:UTF-8
importre
#将正则表达复式编译成Pattern对象制
pattern=re.compile(r'<img[^>]*src[="']+([^"']*)["'][^>]*>',re.I)
#使用search()查找匹配的子串，不存在能匹配的子串时将返回None
match=pattern.search('helloworld!')
ifmatch:
#使用Match获得分组信息
printmatch.group(1)
H. 利用爬虫程序爬取数据太多会犯法吗
不会。
网管发现你的爬虫消耗他们的频道所以封了你的IP。
可用不同代理爬帖，也可尽量隐形。去谷歌找 "php8legs 网络蜘蛛忍者隐身术“。
I. 做过搜索引擎的来看看,爬虫爬取的文本如何提取自己想要的信息啊
正常情况下，在网站的目录下放一个robots.txt的文件，里面可以声明禁止爬虫来爬，做为一个有品的爬虫程序，就不去爬了，当然没品的不在此列。
对于恶意爬虫，可以封掉它的ip
J. python 爬虫怎么处理爬取数据中含有单引号，并将其存入数据库
把爬到的数据用三引号接收再想办法处理呢
a="""aaa"aa"aa'aa'"""#a为你实际爬到的数据
b="""%s"""%(a)
printb
#打印'"aaa"aa"aa'aa''