Scala  Java  Spark 

Spark——共享变量

　　Spark执行不少操作时都依赖于闭包函数的调用，此时如果闭包函数使用到了外部变量驱动程序在使用行动操作时传递到集群中各worker节点任务时就会进行一系列操作： 　　1、驱动程序使将闭包中使用变量封装成对象，驱动程序序列化对象，传给worker节点任务； 　　2、worker节点任务接收到对象，
阅读更多
Spark 

Spark编译与打包

编译打包 　　Spark支持Maven与SBT两种编译工具，这里使用了Maven进行编译打包； 　　在执行make-distribution脚本时它会检查本地是否已经存在Maven还有当前Spark所依赖的Scala版本，如果不存在它会自动帮你下载到build目录中并解压使用；Maven源最好配置成
阅读更多
Spark 

Spark核心——RDD

　　Spark中最核心的概念为RDD（Resilient Distributed DataSets）中文为：弹性分布式数据集，RDD为对分布式内存对象的 抽象它表示一个被分区不可变且能并行操作的数据集；RDD为可序列化的、可缓存到内存对RDD进行操作过后还可以存到内存中，下次操作直接把内存中RDD作
阅读更多
Scala  Spark 

Spark运行模式与Standalone模式部署

　　上节中简单的介绍了Spark的一些概念还有Spark生态圈的一些情况，这里主要是介绍Spark运行模式与Spark Standalone模式的部署； Spark运行模式 　　在Spark中存在着多种运行模式，可使用本地模式运行、可使用伪分布式模式运行、使用分布式模式也存在多种模式如：Spark
阅读更多
Scala 

Scala初入

何为Scala物 　　Scala为基于JVM虚拟机中的面向对象与函数式编程思想并且完全兼容Java的混合编程语言，可以是Scala与Java是同根同源的，既然Scala与JAVA都是基于JVM之上的编程语言那么Scala的特色又在哪呢 Scala最大的特色就是他是支持函数式编程的，函数式编程风格使得
阅读更多
Spark 

Spark概述

背景 　　目前按照大数据处理类型来分大致可以分为：批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样； 　　关注大数据处理的应该都知道Hadoop，而Hadoop的核心为HDFS与MapReduce，HDFS分布式文件系统在Hadop中是用来存储数据的；MapR
阅读更多
Android 

React Native初试：Windows下Andriod环境搭建

　　最近想写个App，又觉得Native App 太无趣了Web App又没那么成熟然后发现了Facebook在9月发布的React Native比较新奇，所以决定捣鼓看看； 　　React Native为Facebook开源的使用Javascript与React开发Android、IOS原生跨平台
阅读更多
其他技术 

Fiddler基本原理与抓取Andriod与IOS的App数据包

Fiddler基本原理 Fiddler数据包的原理是Fiddler将自己设置为一个代理服务器，默认监听127.0.0.1：8888端口同时将浏览器的HTTP、HTTPS协议设置为使用代理服务器也就是使用自己作为浏览器的代理服务器； 　　　　　　　　　　　　1.Fiddler原理图 打开Fiddle
阅读更多
并发模型 

并发编程之可变状态

　　熟悉Java或如C#等使用共享内存模型作为并发实现的人都比较清楚，编写线程安全的代码很关键的一点就是要控制好可变状态，对于Java开发者来说可能用内存可见性更容易理解，在各种关于并发的书籍中都是处理好内存可见性问题编写线程安全的代码就成功了一半了，但我认为“内存可见性”太过于抽象、底层，使开发者
阅读更多
分布式 

ZooKeeper日志与快照文件简单分析

　　有用过Zookeeper的都知道zoo.cfg配置文件中有dataDir配置项用于存储数据，不过可能有些人不太清楚这个目录具体存储的是那些数据，默认情况下这个目录是用于存储Log（事务日志）与Snapshot（快照）数据，但是Zookeeper还提供了一个用于Log存储目录的配置项dataLog
阅读更多
关注我

分类

标签云

Agent 大模型 ChatGPT HA 智能家居 LSM Linux Dapr 开发 插件 Linux,虚拟机,ubuntu 缓存 图片 Flink 反射 内置函数 go 限流 大数据,Spark,Kafka 面向对象 镜像 docker,hadoop,镜像 kafka,java 求导 链式法则 微积分 源码 快照 协议 ZooKeeper ZAB tomcat Hadoop Spark python 自动微分 React Native React Node.js Android Kafka lambda jvm rasp 框架 SPI asm maven idea 依赖管理 module helm 逻辑回归 S函数 IOS Fiddler Andriod Protocol Buffer kryo 车联网，大数据，神经网络 字节序 最小二乘法 线性代数 线性回归 最大似然法 网络编程 大数据 树莓派 Raspbian redis 海南 分析 人口 函数式编程 clojure 线程 并行 actor 红黑树 数组 动态数组 tcp 编程 markdown 二叉搜索树 AVL树 数据结构 golang 梯度下降法 skaffold k8s 机器学习 选法 一致性 算法 分布式 paxos Raft 一致性协议 引擎 容器 通信 微服务 Kubernetes docker 文件系统 NFS 神经网络 神经元 深度学习 poi 反向传播 java 并发模型 并发 多线程 Scala

最新文章

标签

Agent 3
大模型 12
ChatGPT 12
HA 1
智能家居 7
LSM 4
Linux 9
Dapr 1
开发 2
插件 1
Linux,虚拟机,ubuntu 1
缓存 1
图片 1
Flink 3
反射 1
内置函数 1
go 2
限流 1
大数据,Spark,Kafka 2
面向对象 1
镜像 1
docker,hadoop,镜像 0
kafka,java 1
求导 1
链式法则 1
微积分 1
源码 1
快照 1
协议 1
ZooKeeper 2
ZAB 1
tomcat 3
Hadoop 2
Spark 7
python 4
自动微分 3
React Native 1
React 1
Node.js 1
Android 1
Kafka 3
lambda 1
jvm 3
rasp 1
框架 1
SPI 1
asm 1
maven 1
idea 2
依赖管理 1
module 1
helm 1
逻辑回归 1
S函数 1
IOS 1
Fiddler 1
Andriod 1
Protocol Buffer 2
kryo 1
车联网，大数据，神经网络 1
字节序 1
最小二乘法 4
线性代数 2
线性回归 7
最大似然法 1
网络编程 3
大数据 4
树莓派 7
Raspbian 1
redis 1
海南 3
分析 3
人口 1
函数式编程 1
clojure 1
线程 1
并行 1
actor 2
红黑树 1
数组 1
动态数组 1
tcp 1
编程 1
markdown 1
二叉搜索树 4
AVL树 1
数据结构 7
golang 23
梯度下降法 5
skaffold 1
k8s 1
机器学习 19
选法 1
一致性 2
算法 6
分布式 12
paxos 1
Raft 3
一致性协议 3
引擎 1
容器 2
通信 1
微服务 2
Kubernetes 7
docker 15
文件系统 1
NFS 1
神经网络 4
神经元 1
深度学习 3
poi 1
反向传播 2
java 25
并发模型 4
并发 5
多线程 3
Scala 8

最新文章

标签

Agent 3
大模型 12
ChatGPT 12
HA 1
智能家居 7
LSM 4
Linux 9
Dapr 1
开发 2
插件 1
Linux,虚拟机,ubuntu 1
缓存 1
图片 1
Flink 3
反射 1
内置函数 1
go 2
限流 1
大数据,Spark,Kafka 2
面向对象 1
镜像 1
docker,hadoop,镜像 0
kafka,java 1
求导 1
链式法则 1
微积分 1
源码 1
快照 1
协议 1
ZooKeeper 2
ZAB 1
tomcat 3
Hadoop 2
Spark 7
python 4
自动微分 3
React Native 1
React 1
Node.js 1
Android 1
Kafka 3
lambda 1
jvm 3
rasp 1
框架 1
SPI 1
asm 1
maven 1
idea 2
依赖管理 1
module 1
helm 1
逻辑回归 1
S函数 1
IOS 1
Fiddler 1
Andriod 1
Protocol Buffer 2
kryo 1
车联网，大数据，神经网络 1
字节序 1
最小二乘法 4
线性代数 2
线性回归 7
最大似然法 1
网络编程 3
大数据 4
树莓派 7
Raspbian 1
redis 1
海南 3
分析 3
人口 1
函数式编程 1
clojure 1
线程 1
并行 1
actor 2
红黑树 1
数组 1
动态数组 1
tcp 1
编程 1
markdown 1
二叉搜索树 4
AVL树 1
数据结构 7
golang 23
梯度下降法 5
skaffold 1
k8s 1
机器学习 19
选法 1
一致性 2
算法 6
分布式 12
paxos 1
Raft 3
一致性协议 3
引擎 1
容器 2
通信 1
微服务 2
Kubernetes 7
docker 15
文件系统 1
NFS 1
神经网络 4
神经元 1
深度学习 3
poi 1
反向传播 2
java 25
并发模型 4
并发 5
多线程 3
Scala 8
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×

最新文章
智能体详解——极简深度研究Agent

详解智能体应用——网课生成Agent

详解智能体应用——合同审查Agent

精准与效率：RAG应用PDF文档图文提取OCR策略

详解智能体应用——资讯简报智能体

分类
智能家居 1658551774465
Dapr dapr
Flink flink
Spark spark
python python
Android android
kafka kafka
Javascript javascript
Uncategorized uncategorized
闲谈 1570268818440
树莓派 1570268815800
海南 1570268813721
其他技术 1570268772808
数据结构 1570268694453
Golang golang
大数据 1570268692135
Docker docker
Linux linux
MachineLearning machinelearning
Java java
并发模型 1570268561851
分布式 1570268561848
Scala scala
个人 1570268561786
标签
Agent agent
大模型 1724575145148
ChatGPT chatgpt
HA ha
智能家居 1658551798248
LSM lsm
Linux linux
Dapr dapr
开发 1616222897117
插件 1616222897114
Linux,虚拟机,ubuntu linuxubuntu
缓存 1607934231971
图片 1602047103997
Flink flink
反射 1589899169795
内置函数 1584872069163
go go
限流 1579436774946
大数据,Spark,Kafka sparkkafka
面向对象 1577001932084
镜像 1574605087432
docker,hadoop,镜像 dockerhadoop
kafka,java kafkajava
求导 1570269314448
链式法则 1570269314426
微积分 1570269314424
源码 1570268919002
快照 1570268919000
协议 1570268918982
ZooKeeper zookeeper
ZAB zab
tomcat tomcat
Hadoop hadoop
Spark spark
python python
自动微分 1570268887313
React Native react-native
React react
Node.js nodejs
Android android
Kafka kafka
lambda lambda
jvm jvm
rasp rasp
框架 1570268874733
SPI spi
asm asm
maven maven
idea idea
依赖管理 1570268869820
module module
helm helm
逻辑回归 1570268867352
S函数 s
IOS ios
Fiddler fiddler
Andriod andriod
Protocol Buffer protocol-buffer
kryo kryo
车联网，大数据，神经网络 1570268864784
字节序 1570268864768
最小二乘法 1570268820850
线性代数 1570268818403
线性回归 1570268818399
最大似然法 1570268818396
网络编程 1570268818375
大数据 1570268818373
树莓派 1570268815782
Raspbian raspbian
redis redis
海南 1570268813719
分析 1570268813716
人口 1570268813713
函数式编程 1570268782732
clojure clojure
线程 1570268780411
并行 1570268780384
actor actor
红黑树 1570268777657
数组 1570268775246
动态数组 1570268775232
tcp tcp
编程 1570268772807
markdown markdown
二叉搜索树 1570268772791
AVL树 avl
数据结构 1570268694445
golang golang
梯度下降法 1570268692131
skaffold skaffold
k8s k8s
机器学习 1570268692108
选法 1570268689977
一致性 1570268689958
算法 1570268689961
分布式 1570268689959
paxos paxos
Raft raft
一致性协议 1570268689942
引擎 1570268687625
容器 1570268687607
通信 1570268687550
微服务 1570268687517
Kubernetes kubernetes
docker docker
文件系统 1570268667551
NFS nfs
神经网络 1570268667524
神经元 1570268667523
深度学习 1570268667521
poi poi
反向传播 1570268667500
java java
并发模型 1570268561830
并发 1570268561821
多线程 1570268561819
Scala scala