前言
在国内编译Spark项目需要从Maven源下载很多依赖包,官方源在国内大环境下的下载速度大家都懂得,那个煎熬啊,简直是浪费生命。
如果你的下载速度很快,你现在就可以无视这篇文章了。
阿里云给国内开发者提供了一个非常的良心的服务:提供了一个国内Maven镜像,可以让我们拜托这种煎熬。
地址信息
阿里云的Maven也是基于nexus构建。
地址:http://maven.aliyun.com/
仓库地址:http://maven.aliyun.com/nexus/content/groups/public/
Spark支持sbt及Maven两种编译方式,接下来分别介绍,如何修改构建配置,采用阿里云的maven仓库加速Spark编译过程。
提速sbt构建速度
网上有资料介绍如何使用国内镜像加速编译,比如这个:http://blog.csdn.net/mmical/article/details/41925823
然,对于Spark项目而言,并卵!因为Spark单独定义了项目的构建规则,并不会加载默认的仓库解析配置。
我们需要修改Spark源码下的
延伸阅读
学习是年轻人改变自己的最好方式