爬蟲爬取全校學生的成績
A. python爬蟲爬取的數據可以做什麼
爬蟲的概念是，爬取網上能看到的數據，也就是只要網上存在的，通過瀏覽器可以看到的數據。爬蟲都可以爬取。爬蟲爬取的原理就是偽裝成瀏覽器，然後進行爬取操作
哪些數據你需要你就可以爬取。比如爬取公司競爭對手的商業數據，爬取電影，音樂，圖片等等的。只要你希望得到的，前提瀏覽器可以訪問的都可以爬取
B. 爬蟲爬取的頁面，需要登錄之後才能爬取數據，我該怎麼辦
那就寫登錄唄……有的站沒辦法，據說有方法繞過登錄，我是么明白原理
C. 如何分析網站網頁爬蟲爬取規則
既然確定了用爬蟲來自動整理文章，你得先理解爬蟲是什麼。爬蟲說白了就是一個腳本程序。說到腳本，我們平時遇到一些費時費力又容易出錯的活兒，都可以把用到的命令寫到腳本里，讓計算機自動來執行。測試同學說的自動化腳本，運維同學說的環境配置腳本，都是這個意思。一個腳本包含了很多命令，一個接一個，告訴計算機第一步干什麼，之後干什麼，最後干什麼。
在這里，我們的目標很明確，就是寫一個爬蟲腳本，讓計算機一步一步的把「給產品經理講技術」的所有歷史文章，保存成pdf。
歷史文章哪裡去找？正好，微信公眾號的關注界面有一個查看歷史消息的鏈接。
點開歷史消息，這個頁面每次顯示10篇文章，如果用戶滑到底，就會再載入10篇出來，典型的非同步載入。我們要找的，就是每篇文章的URL地址。只要找到所有文章的URL，就能下載到每篇文章的內容和圖片，然後就可以進一步加工處理成pdf了。
為此，我們長按頁面選擇在瀏覽器中打開，然後把地址欄里的URL復制出來，發送到電腦上，用Chrome打開。用Chrome的最大好處，就是它有一個「開發人員工具」，可以直接查看網頁的源碼。按下command+option+L，打開開發人員工具，就能看到這個網頁的源碼了。我們要找的東西，就藏在這些亂七八糟的HTML代碼里。
如何從HTML源碼里找到我們想要的文章鏈接呢？
這要從HTML的結構說起。HTML全稱超文本標記語言，所謂標記，就是說是它通過很多標簽來描述一個網頁。你看到很多像以開始，以結束的標志，就是標簽。這些標簽一般成對出現，標簽裡面還可以套標簽，表示一種層級關系。最外面的html標簽是最大的，head、body次之，一層一層下來，最後才是一段文字，一個鏈接。你可以把它類比成一個人，這個人叫html，有head，有body，body上有hand，hand上面有finger。
扯遠了，一些常用的標簽：
1、<head>。一個網頁的很多重要信息，都是在這里聲明的。比如說標題，就是在<head>下的<title>里定義的。一個網頁用到的CSS樣式，可以在<head>下的<style>里定義。還有你寫的JavaScript代碼，也可以在<head>下的<script>里定義。
2、<body>。它包含的東西就多了，基本上我們能看到的東西，一段文字，一張圖片，一個鏈接，都在這裡面。比如說：
<p>表示一個段落
<h1>是一段文字的大標題
<a>表示一個鏈接
<img>表示一張圖
<form>是一個表單
<div>是一個區塊
計算機是如何理解HTML的標簽的呢？其實很簡單，它就是一棵樹。你可以把<html>當做樹根，從樹根上分出<head>和<body>，各個分支上又有新的分支，直到不能再分為止。這有點類似我們電腦上存放的文件。假設你有一本《21天學習C++》的電子書，存在D盤、study文件夾下的CS文件夾里。而study文件夾里除了CS文件夾，還有GRE、島國文化等目錄，代表著另一個分支體系。這也是一棵樹。樹上的每一片葉子，都有一條從根部可以到達的路徑，可以方便計算機去查找。
回到正題，有了這些基礎知識，我么再來看微信這個歷史消息頁面。從最外層的<html>標簽開始，一層一層展開，中間有<body>、有<div>、最後找到一個<a>標簽，標簽裡面的hrefs就是每篇文章的URL了。把這個URL復制下來，在新的TAB打開，確認確實是文章的地址。
現在我們通過分析一個網頁的結構、標簽，找到了我們想要的文章URL，我們就可以寫爬蟲去模擬這個過程了。爬蟲拿到網頁之後，我們可以用正則表達式去查找這個<a>標簽，當然，也可以用一些更高級的手段來找。
D. 通過爬蟲爬取互聯網公開新聞信息等，並做展現，打開會直接打開原網站，這種涉及侵權嗎
可以抄的，首先要自己會寫代碼學習爬襲蟲可以從下面一些知識點入手學習。 1、http相關知識。 2、瀏覽器攔截、抓包。 3、python2 中編碼知識，python3 中bytes 和str類型轉換。 4、抓取javascript 動態生成的內容。 4、模擬post、get，header等 5、cookie處理，登錄。 6、代理訪問。 7、多線程訪問、python 3 asyncio 非同步。 8、正則表達式、xpath等等等。。。。還有scrapy requests等第三方庫的使用。
E. 使用爬蟲爬取數據違法嗎
爬蟲不違法，違法的是不遵從網站的爬蟲協議，對網站造成負擔，對正常用戶造成影響。
其次，搜索引擎也是爬蟲，爬蟲協議就是告訴爬蟲怎麼爬取可以。
最後，沒有官方介面或者已經下架的介面，爬取這些信息肯定是違法的，輕重而已；
當然這是法律意義的，實際上爬蟲到底違法不違法，看看案例就知道了。不對對方造成損失，不侵犯未公開介面，就沒有問題。
F. 如何用爬蟲爬取國家統計局網站
我是一直主張在爬蟲中抄嵌入一個瀏覽器，現在用python編程，實現這個方案是很容易的，有很多瀏覽器driver。內嵌瀏覽器的話，相當於模擬人的瀏覽行為，網站的屏蔽爬蟲的措施可以避開一些，有些網站不是為了屏蔽爬蟲，但是從會話的完整性方面會要求傳遞一些http參數，這種情況也可以有效的完整支持。
但是，很多程序員反對用一個完整的瀏覽器做內容解析和渲染和js執行，因為速度會慢很多。其實，我們爬一個網站，大部分情形下是針對唯一一個網站一口氣爬很多，這種情形更多要考慮會不會爬的太快了。所以，速度問題大可不必那麼在意。
G. Python爬蟲爬取圖片問題 用正則規則匹配到一個網頁的所有圖片的網址規則，請問如何用遍歷把正則
^
#encoding:UTF-8
importre
#將正則表達復式編譯成Pattern對象制
pattern=re.compile(r'<img[^>]*src[="']+([^"']*)["'][^>]*>',re.I)
#使用search()查找匹配的子串，不存在能匹配的子串時將返回None
match=pattern.search('helloworld!')
ifmatch:
#使用Match獲得分組信息
printmatch.group(1)
H. 利用爬蟲程序爬取數據太多會犯法嗎
不會。
網管發現你的爬蟲消耗他們的頻道所以封了你的IP。
可用不同代理爬帖，也可盡量隱形。去谷歌找 "php8legs 網路蜘蛛忍者隱身術「。
I. 做過搜索引擎的來看看,爬蟲爬取的文本如何提取自己想要的信息啊
正常情況下，在網站的目錄下放一個robots.txt的文件，裡面可以聲明禁止爬蟲來爬，做為一個有品的爬蟲程序，就不去爬了，當然沒品的不在此列。
對於惡意爬蟲，可以封掉它的ip
J. python 爬蟲怎麼處理爬取數據中含有單引號，並將其存入資料庫
把爬到的數據用三引號接收再想辦法處理呢
a="""aaa"aa"aa'aa'"""#a為你實際爬到的數據
b="""%s"""%(a)
printb
#列印'"aaa"aa"aa'aa''