按照选定的日期范畴抓取一切沪深两市股票的行情数据

　　能够趴下豆瓣念书标签下的一切图书，按评分排名顺次存储，存储到Excel中，可便利各人挑选网罗，好比挑选评估人数>

　　1000的高分册本；可根据差此外主题存储到Excel差此外Sheet ，接纳User Agent假装为阅读器停止爬取，并参加随机延时来更好的模拟阅读器举动，制止爬虫被封。

　　此名目标功用是爬取知乎用户信息以及人际拓扑干系，爬虫框架利用scrapy，数据存储利用mongo

　　总数据数：20119918，抓取字段：用户id，昵称，性别，头像，品级，经历值，粉丝数，诞辰，地点，注册工夫，署名，品级与经历值等。抓取以后天生B站用户数据陈述。

　　次要爬取新浪微博用户的小我私家书息、微博信息、粉丝以及存眷。代码获患上新浪微博Cookie停止登录，可经由历程多账号登录来避免新浪的反扒。次要利用 scrapy 爬虫框架。

　　配置检索前提后，施行src/CnkiSpider。py抓取数据，抓取数据存储在/data目次下，每一一个数据文件的第一举动字段称号。

　　批量抓取 QQ 群信息，包罗群称号、群号、群人数、群主、群简介等内容，终极天生 XLS(X) / CSV 成果文件。

　　以hao123爲進口頁面，轉動爬取外鏈，搜集網址，並記载网址上的内链以及外链数量，记载title等信息，windows7 32位上测试，今朝每一24个小时，可搜集数据为10万阁下

　　Findtrip是一个基于Scrapy的机票爬虫，今朝整合了海内两大机票网站（去哪儿 + 携程）。

　　16。 QQSpider –QQ空间爬虫，包罗日记、说说、小我私家书息等，一天可抓取 400 万条数据。

　　18。 tbcrawler –淘宝以及天猫的爬虫，能够按照搜刮枢纽词，物品id来抓去页面的信息，数据存储在mongodb。

　　19。 stockholm – 一个股票数据（沪深）爬虫以及选股战略测试框架。按照选定的日期范畴抓取一切沪深两市股票的行情数据。撑持利用抒发式界说选股战略。撑持多线程处置。保留数据到JSON文件、CSV文件。