当前位置:首页 > 资讯 > info6 > 正文

hadoop上的工作流调度——oozie

发表于: 2017-05-15 ? 作者:chenKFKevin ? 来源:转载 ? 浏览:
摘要: Hadoop上的工作流调度Oozie是一个管理ApacheHadoop任务的工作流调度系统。Oozie工作流任务是有向无环图。Oozie协调任务是由时间(频率)和数据是否可获得来触发的oozie工作流。Oozie是一个可扩展的、可靠的和可延伸的系统。oozie主要由以下几部分组成:coordinator.xml和job.properties和workflow.xml。coordinator.xml

Hadoop上的工作流调度

Oozie是一个管理Apache Hadoop任务的工作流调度系统。
Oozie工作流任务是有向无环图。
Oozie协调任务是由时间(频率)和数据是否可获得来触发的oozie工作流。

Oozie是一个可扩展的、可靠的和可延伸的系统。

oozie主要由以下几部分组成:

coordinator.xml和job.properties和workflow.xml。

coordinator.xml:定时调度频率


	
	    2
		1
	

     
        
            ${application_path}
            
                
                    sqoop_import_path
                    ${coord:dataOut('logData')}
                
                
                    nominalformateDate
                    ${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'DAY'), "yyyyMMdd")}
                
            
        
    

job.properties:起止时间

hdfs_sqoop_tmp=${namenode_address}/
hdfs_address_prefix=/apps

#coordinator config
job_start=2016-07-15T05:00+0800
job_end=2099-12-31T07:00+0800


#shell
dbTest=test.sh


application_path=${hdfs_address_prefix}/

oozie.coord.application.path=${application_path}
workflow.xml:具体调度的action


   
           
            
        
        
        
    
	   
	   

	   

    
        
    
    

具体的执行语句:

oozie ?-Dheader:j_username=$j_username -Dheader:j_password=$j_password job -Dnamenode_address=$namenode_address -Djobtracker_address=$jobtracker_address -Dmapred_job_queue_name=$mapred_job_queue_name -Dpg_connection=$pg_connection -Ddbusername=$pg_username -Ddbpassword=$pg_password --oozie $oozie_url -config ?/appcom/apps/test.properties -auth xxx -run -doas $doas_user

hadoop上的工作流调度——oozie

版权所有 IT知识库 CopyRight ? 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号