博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
tez是什么?
阅读量:5237 次
发布时间:2019-06-14

本文共 950 字,大约阅读时间需要 3 分钟。

【Apache Tez是什么?】

  http://dongxicheng.org/mapreduce-nextgen/apache-tez/

  http://dongxicheng.org/mapreduce-nextgen/apache-tez-optimizations/

   http://dongxicheng.org/mapreduce-nextgen/apache-tez-newest-progress/

http://www.cnblogs.com/linn/p/5325147.html

安装tez

http://blog.csdn.net/fighting_one_piece/article/details/54646124

 

简单的来说tez是支持DAG的计算框架,用来替代MapReduce的。而MapReduce是基于yarn的,那么tez也是。hadoop2.7.x以上支持tez

  它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、 Sort、Merge和Output, Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等,这样,这些分解后的元操作可以任意灵活组 合,产生新的操作,这些操作经过一些控制程序组装后,可形成一个大的DAG作业。

什么DAG?举例来说,spark的RDD经过一系列计算,RDD1-->A计算-->RDD2-->-B计算->RDD3....,这些RDD计算过程描绘成的图就是DAG,用来描述任务的计算过程,那么DAG与MapReduce又有什么关系,我们知道对于一条简单的sql语句,可能会产生多个MapReduce任务。而tez就会将多个MapReduce任务描述成一个DAG,提交一次任务,那么自然效率就会提高,而且多个MapReduce任务必然涉及多次IO读写。

什么是LLAP?

关于ambari中的LLAP?

   参考官方文档 https://docs.hortonworks.com/

转载于:https://www.cnblogs.com/shysky77/p/7205795.html

你可能感兴趣的文章
【Maven】Mac 使用 zsh 后 mvn 命令就无效
查看>>
移动的彩虹
查看>>
Redmine
查看>>
HtmlEditor常用模式
查看>>
Another app is currently holding the yum lock; waiting for it to exit.. yum被锁定无法使用
查看>>
52.tableViewCell重用机制避免重复显示问题
查看>>
帧的最小长度 CSMA/CD
查看>>
xib文件加载后设置frame无效问题
查看>>
第一次博客
查看>>
Java Map 常见用法举例
查看>>
编程算法 - 左旋转字符串 代码(C)
查看>>
178. Rank Scores solution
查看>>
Chrome查看同步状态
查看>>
Ubuntu 16.04桌面版GUI网络配置工具NetworkManager的命令行工具nm-tool无法使用的问题...
查看>>
linux shell 中的数组的取值 遍历 替换 删除操作
查看>>
bind智能DNS + bindUI管理系统(mysql + bind dlz)
查看>>
applicationDocumentsDirectory Path 与 URL
查看>>
IEEE1588 verision 2 报文介绍
查看>>
There was a failure while initializing the Microsoft Visual SourceSafe
查看>>
EasyUI 数据网格 - 设置排序并自定义排序
查看>>