Yarn使用说明


基本使用

cd $HADOOP_HOME # 切换到HADOOP_HOME
$HADOOP_HOME/bin/yarn jar ${jarpath} ${params} # 提交自己编写的作业,
$HADOOP_HOME/bin/yarn logs --applicationId xxx # 查看任务的日志.
其他命令例如kill任务等等通过`$HADOOP_HOME/bin/yarn --help`查看说明.

galaxy-hadoop使用

galaxy-hadoop主要提供了mr/spark框架下, sds与fds上数据处理的例子

编译依赖

详细文档见galaxy-hadoop

例子

galaxy-exporter使用

galaxy-exporter是mr框架下sds数据到hdfs parquet文件的转换工具. 因为是内部工具, 目前没有直接对外开发, 需要发送邮件到emr-help@xiaomi.com申请获取.