特牛生活网

Spark项目学习-慕课网日志分析-days1-hadoop_基于spark的慕课网日志分析-CSDN博客

网友收藏
文章浏览阅读5k次。1. HDFS架构1 Master(NameNode/NM) 带 N个Slaves(DataNode/DN)HDFS/YARN/HBase 1个文件会被拆分成多个Block NN:1)负责客户端请求的响应2)负责元数据(文件的名称、副本系数、Block存放的DV)的管理 DN:1)存储用户的文件对应的数据块(Block)2)要定期向NN发送心跳信息,..._基于spark的慕课网日志分析