博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
azkaban3.x exec-server之jobtype
阅读量:6345 次
发布时间:2019-06-22

本文共 2525 字,大约阅读时间需要 8 分钟。

hot3.png

1.复制编译后的jobtype到exec服务的插件下,

cp dist/jobtype/packages/azkaban-jobtype-${git.tag}.tar.gz/home/app/azkaban/azkaban-exec-server/plugins/jobtypescd /home/app/azkaban/azkaban-exec-server/plugins/jobtypestar -zxvf azkaban-jobtype-${git.tag}.tar.gz解压之后将azkaban-jobtype-${git.tag}目录下的内容移动到/home/app/azkaban/azkaban-exec-server/plugins/jobtypes目录,然后rm -rf azkaban-jobtype-${git.tag}

2.在/home/app/azkaban/azkaban-exec-server/conf/azkaban.properties配置文件里增加一行语句:

azkaban.jobtype.plugin.dir=plugins/jobtypes

3.vim plugins/jobtypes/common.properties

## everything that the user job can know##配置hadoop、hive、spark homehadoop.home=/home/app/hadoop-2.7.2hive.home=/home/app/hive-2.1.1#pig.home=spark.home=/home/app/spark2.1azkaban.should.proxy=false

4.vim plugins/jobtypes/commonprivate.properties

## hadoop security manager setting common to all hadoop jobshadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0## hadoop security related settings# proxy.keytab.location=# proxy.user=# azkaban.should.proxy=true azkaban.should.proxy=false# obtain.binary.token=true obtain.binary.token=false# obtain.namenode.token=true# obtain.jobtracker.token=true# global classpath items for all jobs. e.g. hadoop-core jar, hadoop conf#jobtype.global.classpath=${hadoop.home}/*,${hadoop.home}/conf# global jvm args for all jobs. e.g. java.io.temp.dir, java.library.path#jobtype.global.jvm.args=# hadoop#hadoop.home=/home/app/hadoop-2.7.2#pig.home=hadoop.home=/home/app/hadoop-2.7.2hive.home=/home/app/hive-2.1.1#hive.home=spark.home=/home/app/spark2.1hadoop.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*jobtype.global.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*# configs for jobtype security settingsexecute.as.user=tru

5.复制一份azkaban-jobtype-${git.tag}.jar到azkaban-exec-server/lib目录下

cp azkaban-exec-server/plugins/jobtypes/hdfsToTeradata/azkaban-exec-server/lib azkaban-exec-server/lib

 

转载于:https://my.oschina.net/lzhaoqiang/blog/1511444

你可能感兴趣的文章
[工具类]视频音频格式转换
查看>>
GNS3与抓包工具Wireshark的关联
查看>>
groovy-语句
查看>>
VIM寄存器使用
查看>>
Java VisualVM远程监控JVM
查看>>
nasm预处理器(2)
查看>>
二叉排序树 算法实验
查看>>
Silverlight 5 beta新特性探索系列:10.浏览器模式下内嵌HTML+浏览器模式下创建txt文本文件...
查看>>
YourSQLDba 配置——修改备份路径
查看>>
nginx web服务理论与实战
查看>>
java 库存 进销存 商户 多用户管理系统 SSM springmvc 项目源码
查看>>
网易音乐版轮播-react组件版本
查看>>
ES6 - 函数与剩余运算符
查看>>
你对position了解有多深?看完这2道有意思的题你就有底了...
查看>>
WebSocket跨域问题解决
查看>>
ECMAScript6基本介绍
查看>>
世界经济论坛发布关于区块链网络安全的报告
查看>>
巨杉数据库加入CNCF云原生应用计算基金会,共建开源技术生态
查看>>
Ubuntu 16.04安装Nginx
查看>>
从 JS 编译原理到作用域(链)及闭包
查看>>