2016-08-21

Java Spark

Spark——SparkContext简单分析

　　本篇文章就要根据源码分析SparkContext所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类，足以说明SparkContext的重要性；这里先摘抄SparkContext源码注释来简单介绍介绍SparkContext，注释的第一句话就是

2016-07-16

Docker

Kubernets搭建Kubernetes-dashboard

　　接上篇文章，在已经部署好Kubernetes的基础上部署kubernetes-dashboard，它是官方提供的用户管理Kubernets集群可视化工具；部署dashboard其实和在kubernets部署其他的应用一样，创建dashboard所需的Replication Controller、

2016-07-10

Docker

Docker中部署Kubernetes

　　Kubernetes为Google开源的容器管理框架，提供了Docker容器的夸主机、集群管理、容器部署、高可用、弹性伸缩等一系列功能；Kubernetes的设计目标包括使容器集群任意时刻都处于用户期望的状态，因而建立了一整套集群管理机制：容器自动重启、自动备份、容器自动伸缩等；Kubernet

2016-06-26

Scala 分布式并发模型

Akka初步介绍

　　Akka可能很多人都没有用过，也不知道是什么，但如果说起Scala或Spark就有很多人都听说过或使用过，这里简单说下三者的关系Akka是使用Scala开发的，Spark中使用了Akka作为其消息的通信工具；这篇文章主要说说Akka的一些特性，做个简要的介绍；　　要说Akka首先要从并发开

2016-05-16

闲谈

谈谈当前火热的“车联网”

　　敝人也算车联网行业从业者，做了两年这行业的开发者；今天主要谈谈国内车联网的现状还有我的一些愚见；近两三年车联网不管是在国内还是在国外都非常火，除了传统汽车厂商外各大科技巨头都开始介绍这个行业如Google、Apple、Facebook、三星、微软、百度、阿里、腾讯等等；车联网行业里还细分为：**

2016-04-17

大数据

线性代数回顾：矩阵运算

　　矩阵为线性代数中的重点，而矩阵运算就是矩阵的基础，这篇文章主要是回顾矩阵运算；　　矩阵基本运算：加法、减法、数乘、乘法、转置等矩阵加法　　　　矩阵加法规则为每个矩阵对应的元素相加，当且仅当两个矩阵具有相同的维数矩阵加法才有定义； 1、加法规则示例矩阵减法　　矩阵减法规则与矩

2016-03-26

Scala Spark

Spark作业调度阶段分析

　　Spark作为分布式的大数据处理框架必然或涉及到大量的作业调度，如果能够理解Spark中的调度对我们编写或优化Spark程序都是有很大帮助的；　　在Spark中存在转换操作（Transformation Operation）与行动操作(Action Operation)两种；而转换操作只是会

2016-02-27

Scala Java Spark

Spark——共享变量

　　Spark执行不少操作时都依赖于闭包函数的调用，此时如果闭包函数使用到了外部变量驱动程序在使用行动操作时传递到集群中各worker节点任务时就会进行一系列操作：　　1、驱动程序使将闭包中使用变量封装成对象，驱动程序序列化对象，传给worker节点任务；　　2、worker节点任务接收到对象，

2016-01-14

Spark

Spark编译与打包

编译打包　　Spark支持Maven与SBT两种编译工具，这里使用了Maven进行编译打包；　　在执行make-distribution脚本时它会检查本地是否已经存在Maven还有当前Spark所依赖的Scala版本，如果不存在它会自动帮你下载到build目录中并解压使用；Maven源最好配置成

2016-01-09

Spark

Spark核心——RDD

　　Spark中最核心的概念为RDD（Resilient Distributed DataSets）中文为：弹性分布式数据集，RDD为对分布式内存对象的抽象它表示一个被分区不可变且能并行操作的数据集；RDD为可序列化的、可缓存到内存对RDD进行操作过后还可以存到内存中，下次操作直接把内存中RDD作

文章

166

分类

标签

116

关注我

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

Spark——SparkContext简单分析

Kubernets搭建Kubernetes-dashboard

Docker中部署Kubernetes

Akka初步介绍

谈谈当前火热的“车联网”

线性代数回顾：矩阵运算

Spark作业调度阶段分析

Spark——共享变量

Spark编译与打包

Spark核心——RDD

分类

标签云

最新文章

标签

最新文章

标签

Your browser is out-of-date!