2019-11-25

Java Docker 大数据

在Docker中跑Hadoop与镜像制作

重复造轮子，这里使用重新打包生成一个基于Docker的Hadoop镜像； Hadoop集群依赖的软件分别为：jdk、ssh等，所以只要这两项还有Hadoop相关打包进镜像中去即可；配置文件准备 1、Hadoop相关配置文件：core-site.xml、hdfs-site.xml、mapr

阅读更多

2015-12-22

Spark

Spark概述

背景　　目前按照大数据处理类型来分大致可以分为：批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样；　　关注大数据处理的应该都知道Hadoop，而Hadoop的核心为HDFS与MapReduce，HDFS分布式文件系统在Hadop中是用来存储数据的；MapR

阅读更多

文章

162

分类

24

标签

116

关注我

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now