问题来源

最近新做一个项目，有部分搜索比较频繁的数据，而且量级比较大，预计一两年时间很可能达到100G，项目要求不要存在数据库中，最终出来有两个方案，一个是使用Protocol Buffers存储在文件上，另外就是存在Elasticsearch中，也方便搜索，但这两个方案需要验证，到底哪个方案好，从存储速度，搜索响应，占用空间方面做对比，而我负责给出Elasticsearch的部分技术建议！

验证需求

1、数据量：初步只算52亿条

2、写数据速度：需要超过1W条每秒

 

遇到问题以及解决办法

而在验证过程中遇到了无论是使用Elasticsearch.Net或者PlainElastic.Net来写数据，并且是使用了Bulk的api，加上多线程，都是太慢了，粗略算了一下，大概一秒插入3千条左右，这样的话，52亿条数据，得插到何年何月啊，太慢了，根据查阅资料，网上也有人说插入数据还是挺快 的，一秒可以插入18w条，但具体也没说是用什么办法插入的，所以只能到官方看看了，发现用REST API的_bulk来批量插入，这样速度明显快了，可以达到5到10w条每秒，速度还可以，但问题是这方法是先定义一定格式的json文件，然后再用curl命令去执行Elasticsearch的_bulk来批量插入，所以得把数据写进json文件，然后再通过批处理，执行文件插入数据，另外在生成json文件，文件不能过大，过大会报错，所以建议生成10M一个文件，然后分别去执行这些小文件就可以了，说了这么多都是文字，真的有点晕乎乎的，看图吧！

 

json数据文件内容的定义

我想了解如何学习

姓名：
手机：
留言：