做微指数的爬虫时,遇到点难题,去网上查些资料,发现有点错误;
特此经过研究,有了正确的采集方法。
1、采集界面,搜索关键字后页面跳转到指数界面,显示搜索的指数。
2、fiddler抓包定位采集数据源,加载方式为json
3、获取json数据;
分析数据的加载方式,发现数据是在定位请求头中的referer地址进行返回数据的,