乱读天书， 不求甚解
周祎骏的个人云笔记
Toggle navigation
乱读天书， 不求甚解
主页
Linux:系统配置
Linux:用户管理
Linux:优化排错
Linux:进程调度
Linux:文件系统
Linux:网络
Linux:系统服务
Linux:安全
Linux:内核
容器:Docker
容器:containerd
容器编排:Kubernetes
IAC:Terraform
大数据:Hadoop
大数据:Zookeeper
大数据:Hbase
消息队列:rsyslog
消息队列:kafka
数据库:MySQL
数据库:MongoDB
搜索引擎:Elasticsearch
时序数据库:OpenTSDB
网站服务:Nginx
编程:Bash
编程:Perl
编程:Python
编程:C
编程:JAVA
编程:Rust
版本控制:gitlab
知识管理:docusaurus
常用小工具
关于我
标签
hadoop 0.01 基本介绍YARN
2016-07-03 08:45:58
65
0
0
admin
> hadoop 一个分布式计算的项目，旗下有很多成功的分布式计算工具。 本分类主要介绍hadoop 的核心功能HDFS/YARN/MapReduce #YARN YARN 是新一代HADOOP的分布式计算架构。 结构上分为ResourceManager和NodeManager ##ResourceManager **Scheduler**来追踪有哪些可用资源，分配资源。 **ApplicationsManager**来接受提交的任务，启动对应的ApplicationMaster，如果ApplicationMaster down 的话重启它 **ApplicationMaster**每一个application都有一个，在Scheduler申请资源，让NodeManager去执行它，同时监控任务状态和进度。 ##NodeManager **NodeManager**每台机器一个，监控job 消耗的的资源，报告给Scheduler *** #YARN 与上一代的差别 1. 不局限于MapReduce, 现在MapReduce 只是Yarn 可用的计算模型中的一种 2. 分配任务更加灵活，现在以内存，CPU 为资源，不像以前以slot 为资源，以前还限制map 多少资源，reduce 多少资源，如果没有reduce job ,就浪费了。 3. 新的架构更稳定
上一篇:
hadoop 0.00 基本介绍HDFS
下一篇:
hadoop 0.02 基本介绍MapReduce
文档导航
admin
admin