以前也用过爬虫，比如使用nutch爬取指定种子，基于爬到的数据做搜索，还大致看过一些源码。当然，nutch对于爬虫考虑的是十分全面和细致的。每当看到屏幕上唰唰过去的爬取到的网页信息以及处理信息的时候，总感觉这很黑科技。正好这次借助梳理Spring MVC的机会，想自己弄个小爬虫，简单没关系，有些小bug也无所谓，我需要的只是一个能针对某个种子网站能爬取我想要的信息就可以了。有Exception就去解决，可能是一些API使用不当，也可能是遇到了http请求状态异常，又或是数据库读写有问题，就是在这个报exception和解决exception的过程中，JewelCrawler（儿子的小名）已经可以能够独立的爬取数据，并且还有一项基于Word2Vec算法做个情感分析的小技能。
后面可能还会有未知的Exception等着解决，也有一些性能需要优化，比如和数据库的交互，数据的读写等等。但是目测年内没有太多精力放这上面了，所以今天做一个简单的总结，而且前两篇主要侧重的是功能和结果，这篇来说说JewelCrawler是如何诞生的，并将代码放到Github上（源码地址在文章最后），有兴趣的可以关注下（仅供交流学习，请勿他用，考虑下douban君。多一点真诚，少一点伤害）
环境介绍
开发工具：Intellij idea 14
数据库: Mysql 5.5 + 数据库管理工具Navicat（可用来连接查询数据库）
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式