爬虫课程表
发布时间: 2020-11-29 14:53:09
Ⅰ python 爬虫超级课程表话题时出错,请问各位大神如何解决
这个有主要有两种可能:
你生成的url不正确,这个你可以打印一下,找一个报503的url直接在url里访问,看看是否有问题。
亚马逊判断出你是爬虫,给禁止返回数据了,这个就需要伪装一下你的爬虫,比如修改爬取间隔,随机使用http header,或者使用代理ip。
import urllib
if __name__ == '__main__':
enc = r"%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF"
string = urllib.unquote(enc).decode('gb2312')
print type(string), string
这是python2的,简单点。只能帮这么多了。
Ⅱ 超级课程表违法吗,它通过爬虫技术实现,
算违法。首先它盈利了,利用数据漏洞(校务处信息没有加密)获取其他平台的信息资料。你看,假如qq利用抓包的方式,把淘宝的商品数据放到自己的平台上牟利,这不犯法?
Ⅲ 有没有人可以给我一个提取课表的包,就是模拟教务系统登录,还有网络爬虫那种,谢谢了
集搜客抓取工具只要你在浏览器上登录了你的教务系统,然后就可以直接抓课表可,不需要模拟登录。
热点内容