离线分析

目标

提交mr/spark作业对存储在SDS上的数据进行离线分析, 可以使用自己搭建的yarn集群,或小米EMR服务

galaxy-hadoop库

• 我们封装离线分析库galaxy-hadoop,可以参考其中的example
  • MR job： sds-mapreduce
  • spark job： sds-spark

注意

离线分析读请求应访问SDS备集群的Endpoint,访问主集群可能会影响在线请求.