Hadoop运维记录系列（二十六）-创新互联

一分钟内部署jupyterlab + pyspark2 + hive，前提是spark2是可以在yarn上正常运行的。

创新互联公司一直通过网站建设和网站营销帮助企业获得更多客户资源。 以"深度挖掘，量身打造，注重实效"的一站式服务，以成都网站设计、网站制作、移动互联产品、成都营销网站建设服务为核心业务。十余年网站制作的经验，使用新网站建设技术，全新开发出的标准网站，不但价格便宜而且实用、灵活，特别适合中小公司网站制作。网站管理系统简单易用，维护方便，您可以完全操作网站资料，是中小公司快速网站建设的选择。

最近甲方打着滚的向乙方要求装 jupyterlab，然后还要用spark2，所以，也是没辙，谁让人家是金主爸爸呢。搁我自己是绝不想在生产集群里装jupyter的。Terminal潜在危险性还是有的，按说是不符合甲方的安全小组规定的，但是业务小组又哭闹说没有不行，就看上jupyter的代码提示了，说什么也得要，我能怎么办呢。其实你一年也写不了1000行python，要代码提示干吗使呢，哎。

其实这样的甲方还算好的，后面讲一个更不好的甲方。

集群环境

CDH 5.14.0 自带的 Hive 1.1.0

Spark 2.1.3 Apache版本

Jupyterlab in Anaconda3

按照spark2官方说法，spark2.x开始，仅支持hive 1.2.x以上版本，但实际使用中验证也可以支持hive 1.1.x版本。但 2.3是绝无可能用 1.1.x版本的，而CDH系统又不能升级到6，所以这块甲方也只能妥协了，用2.1.3版本，另：CDH5自带版本是1.6的。

anaconda下载官方的安装包就可以了，我直接装在了/opt/anaconda3下面。

打开 spark/conf/spark-env.sh 输入如下

export PYSPARK_PYTHON=/opt/anaconda3/bin/python
export PYSPARK_DRIVER_PYTHON=/opt/anaconda3/bin/jupyter-lab
export PYSPARK_DRIVER_PYTHON_OPTS='  --ip=172.16.191.30 --port=8890'

使用conda或spark命令安装sparkmagic及ipykernel 4.9.0

pip install sparkmagic
pip/conda install ipykernel==4.9.0

因为ipykernel 5.x跟sparkmagic不兼容，会报一个future的exception，需要使用4.9.0才可以

https://github.com/jupyter-incubator/sparkmagic/issues/492

然后，就没有然后了。

运行  pyspark2 --master yarn 就可以直接启动基于yarn的jupyterlab了。

直接就启动 jupyterlab 了

------------------甲方恶行录----------------

前几天去给一个公司讲了一下 bigtop 如何打包编译hadoop生态，该公司是给某国企做外包项目的，这个甲方有多无聊加变态呢，一句话表述一下。

Hadoop生态系列要全部汉化并打包成发行版，包括log4j记的日志，内容也得是中文，如果甲方再进一步，那就得是把java语言用易语言重写一遍了。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网站栏目：Hadoop运维记录系列（二十六）-创新互联
URL地址：http://cdiso.cn/article/dpccgs.html