爬蟲課程表
發布時間: 2020-11-29 14:53:09
Ⅰ python 爬蟲超級課程表話題時出錯,請問各位大神如何解決
這個有主要有兩種可能:
你生成的url不正確,這個你可以列印一下,找一個報503的url直接在url里訪問,看看是否有問題。
亞馬遜判斷出你是爬蟲,給禁止返回數據了,這個就需要偽裝一下你的爬蟲,比如修改爬取間隔,隨機使用http header,或者使用代理ip。
import urllib
if __name__ == '__main__':
enc = r"%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF"
string = urllib.unquote(enc).decode('gb2312')
print type(string), string
這是python2的,簡單點。只能幫這么多了。
Ⅱ 超級課程表違法嗎,它通過爬蟲技術實現,
算違法。首先它盈利了,利用數據漏洞(校務處信息沒有加密)獲取其他平台的信息資料。你看,假如qq利用抓包的方式,把淘寶的商品數據放到自己的平台上牟利,這不犯法?
Ⅲ 有沒有人可以給我一個提取課表的包,就是模擬教務系統登錄,還有網路爬蟲那種,謝謝了
集搜客抓取工具只要你在瀏覽器上登錄了你的教務系統,然後就可以直接抓課表可,不需要模擬登錄。
熱點內容