一.传统方式
这种方式就是常用的TableInputFormat和TableOutputFormat来读写hbase,如下代码所示
简单解释下,用sc.newAPIHadoopRDD根据conf中配置好的scan来从Hbase的数据列族中读取包含(ImmutableBytesWritable, Result)的RDD,
随后取出rowkey和value的键值对儿利用StatCounter进行一些最大最小值的计算最终写入hbase的统计列族.
二.SparkOnHbase方式
重点介绍第二种方式,这种方式其实是利用Cloudera-labs开源的一个HbaseContext的工具类来支持spark用RDD的方式批量读写hbase,先给个传送门大家感受下
延伸阅读
学习是年轻人改变自己的最好方式
![commonSparkHbaseReadWrite_thumb[1] photoshop培训,电脑培训,电脑维修培训,移动软件开发培训,网站设计培训,网站建设培训](/catchImages/20170413/1492070957099085269.png)