分布式  python  MachineLearning 

Ray一个通用分布式计算框架基本使用

  Ray一个开源的通用分布式计算框架，支持传统的并行任务并支持AI模型的分布式训练，分布式任务包括有状态与无状态任务；Ray提供了统一的接口提供了基于任务的并行计算与基于行动器的计算，前者通常用于无状态的任务后者用于有状态的任务；Ray为一个具有高可扩展性、容错性的分布式计算集群框架；集群即可逻辑
阅读更多
Golang  数据结构 

基于LSM的Key-Value数据库实现稀疏索引篇

  上篇文章简单的填了一个坑基于LSM数据库的实现了WAL，在该版本中如数据写入到内存表的同时将未持久化的数据写入到WAL文件，在未将数据持久化时程序崩溃，可通过WAL文件将数据还原恢复从而避免了数据的丢失。 目前此基于LSM的数据库还有三大坑：    1、索引问题    2、SSTable合并
阅读更多
Dapr  分布式 

分布式应用运行时Dapr

  Dapr为微软开源的一个用于构建分布式应用的框架，Dapr为分布式应用运行时（Distributed Application Runtime）的英文单词缩写；Dapr提供了分布式应用所依赖的执行环境，分布式运行时包括了：服务通讯、数据持久化、资源绑定、pub-sub、Actors、密钥等，通过使
阅读更多
分布式  Java 

图解Raft之日志复制

　　日志复制可以说是Raft集群的核心之一，保证了Raft数据的一致性，下面通过几张图片介绍Raft集群中日志复制的逻辑与流程； 　　在一个Raft集群中只有Leader节点能够接受客户端的请求，由Leader向其他Follower转发所有请求日志，并且有那么两条规则：Leader不删除任何日志、
阅读更多
分布式  Java 

图解Raft之领导者选举

　　图解Raft领导者选举，这里通过五张图来解答Raft选举的全过程； 　　Raft集群各个节点之间是通过RPC通讯传递消息的，每个节点都包含一个RPC服务端与客户端，初始时启动RPC服务端、状态设置为Follower、启动选举定时器，每个Raft节点的选举定时器超时时间都在100-500毫秒之间
阅读更多
MachineLearning 

机器学习是什么

　　近几年机器学习非常火，机器学习并不是近来才出现的已经出现了几十年了，但随着互联网、移动互联网、计算资源的迅猛发展使得机器学习有了庞大的数据、 廉价的计算资源、 广泛的应用场景；三种条件可以说缺一不可，互联网、移动互联网带来了大数据与广泛的应用场景，摩尔定律使得机器越来越便宜云计算的出现又让计算资
阅读更多
Java  Spark 

Spark——SparkContext简单分析

　　本篇文章就要根据源码分析SparkContext所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类，足以说明SparkContext的重要性；这里先摘抄SparkContext源码注释来 简单介绍介绍SparkContext，注释的第一句话就是
阅读更多
分布式 

ZooKeeper日志与快照文件简单分析

　　有用过Zookeeper的都知道zoo.cfg配置文件中有dataDir配置项用于存储数据，不过可能有些人不太清楚这个目录具体存储的是那些数据，默认情况下这个目录是用于存储Log（事务日志）与Snapshot（快照）数据，但是Zookeeper还提供了一个用于Log存储目录的配置项dataLog
阅读更多
分布式 

ZooKeeper之ZAB协议

　　ZooKeeper为高可用的一致性协调框架，自然的ZooKeeper也有着一致性算法的实现，ZooKeeper使用的是ZAB协议作为数据一致性的算法，**ZAB（ZooKeeper Atomic Broadcast ）全称为：原子消息广播协议；ZAB可以说是在Paxos算法基础上进行了扩展改造而
阅读更多
分布式 

一致性算法Raft详解

背景 　　熟悉或了解分布性系统的开发者都字段一致性算法的重要性，Paxos一致性算法从90年提出到现在已经有二十几年了，而Paxos流程太过于繁杂实现起来也比较复杂，可能也是以为过于复杂 现在我听说过比较出名使用到Paxos的也就只是Chubby、libpaxos，搜了下发现Keyspace、Ber
阅读更多
关注我

分类

标签云

大模型 ChatGPT HA 智能家居 LSM Linux Dapr 开发 插件 Linux,虚拟机,ubuntu 缓存 图片 Flink 反射 内置函数 go 限流 大数据,Spark,Kafka 面向对象 镜像 docker,hadoop,镜像 kafka,java 求导 链式法则 微积分 源码 快照 协议 ZooKeeper ZAB tomcat Hadoop Spark python 自动微分 React Native React Node.js Android Kafka lambda jvm rasp 框架 SPI asm maven idea 依赖管理 module helm 逻辑回归 S函数 IOS Fiddler Andriod Protocol Buffer kryo 车联网，大数据，神经网络 字节序 最小二乘法 线性代数 线性回归 最大似然法 网络编程 大数据 树莓派 Raspbian redis 海南 分析 人口 函数式编程 clojure 线程 并行 actor 红黑树 数组 动态数组 tcp 编程 markdown 二叉搜索树 AVL树 数据结构 golang 梯度下降法 skaffold k8s 机器学习 选法 一致性 算法 分布式 paxos Raft 一致性协议 引擎 容器 通信 微服务 Kubernetes docker 文件系统 NFS 神经网络 神经元 深度学习 poi 反向传播 java 并发模型 并发 多线程 Scala

最新文章

标签

大模型 5
ChatGPT 10
HA 1
智能家居 6
LSM 4
Linux 9
Dapr 1
开发 2
插件 1
Linux,虚拟机,ubuntu 1
缓存 1
图片 1
Flink 3
反射 1
内置函数 1
go 2
限流 1
大数据,Spark,Kafka 2
面向对象 1
镜像 1
docker,hadoop,镜像 0
kafka,java 1
求导 1
链式法则 1
微积分 1
源码 1
快照 1
协议 1
ZooKeeper 2
ZAB 1
tomcat 3
Hadoop 2
Spark 7
python 4
自动微分 3
React Native 1
React 1
Node.js 1
Android 1
Kafka 3
lambda 1
jvm 3
rasp 1
框架 1
SPI 1
asm 1
maven 1
idea 2
依赖管理 1
module 1
helm 1
逻辑回归 1
S函数 1
IOS 1
Fiddler 1
Andriod 1
Protocol Buffer 2
kryo 1
车联网，大数据，神经网络 1
字节序 1
最小二乘法 4
线性代数 2
线性回归 7
最大似然法 1
网络编程 3
大数据 4
树莓派 7
Raspbian 1
redis 1
海南 3
分析 3
人口 1
函数式编程 1
clojure 1
线程 1
并行 1
actor 2
红黑树 1
数组 1
动态数组 1
tcp 1
编程 1
markdown 1
二叉搜索树 4
AVL树 1
数据结构 7
golang 23
梯度下降法 5
skaffold 1
k8s 1
机器学习 18
选法 1
一致性 2
算法 6
分布式 12
paxos 1
Raft 3
一致性协议 3
引擎 1
容器 2
通信 1
微服务 2
Kubernetes 7
docker 15
文件系统 1
NFS 1
神经网络 4
神经元 1
深度学习 3
poi 1
反向传播 2
java 25
并发模型 4
并发 5
多线程 3
Scala 8

最新文章

标签

大模型 5
ChatGPT 10
HA 1
智能家居 6
LSM 4
Linux 9
Dapr 1
开发 2
插件 1
Linux,虚拟机,ubuntu 1
缓存 1
图片 1
Flink 3
反射 1
内置函数 1
go 2
限流 1
大数据,Spark,Kafka 2
面向对象 1
镜像 1
docker,hadoop,镜像 0
kafka,java 1
求导 1
链式法则 1
微积分 1
源码 1
快照 1
协议 1
ZooKeeper 2
ZAB 1
tomcat 3
Hadoop 2
Spark 7
python 4
自动微分 3
React Native 1
React 1
Node.js 1
Android 1
Kafka 3
lambda 1
jvm 3
rasp 1
框架 1
SPI 1
asm 1
maven 1
idea 2
依赖管理 1
module 1
helm 1
逻辑回归 1
S函数 1
IOS 1
Fiddler 1
Andriod 1
Protocol Buffer 2
kryo 1
车联网，大数据，神经网络 1
字节序 1
最小二乘法 4
线性代数 2
线性回归 7
最大似然法 1
网络编程 3
大数据 4
树莓派 7
Raspbian 1
redis 1
海南 3
分析 3
人口 1
函数式编程 1
clojure 1
线程 1
并行 1
actor 2
红黑树 1
数组 1
动态数组 1
tcp 1
编程 1
markdown 1
二叉搜索树 4
AVL树 1
数据结构 7
golang 23
梯度下降法 5
skaffold 1
k8s 1
机器学习 18
选法 1
一致性 2
算法 6
分布式 12
paxos 1
Raft 3
一致性协议 3
引擎 1
容器 2
通信 1
微服务 2
Kubernetes 7
docker 15
文件系统 1
NFS 1
神经网络 4
神经元 1
深度学习 3
poi 1
反向传播 2
java 25
并发模型 4
并发 5
多线程 3
Scala 8
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×

最新文章
小玩具：ESP32——刷固件与亮屏

数说海南—五年来各市县城市建设概况

浅看浅谈浅体验DeepSeek-R1模型

AI Agents(智能体)是什么能做什么

模型上下文协议MCP

分类
智能家居 1658551774465
Dapr dapr
Flink flink
Spark spark
python python
Android android
kafka kafka
Javascript javascript
Uncategorized uncategorized
闲谈 1570268818440
树莓派 1570268815800
海南 1570268813721
其他技术 1570268772808
数据结构 1570268694453
Golang golang
大数据 1570268692135
Docker docker
Linux linux
MachineLearning machinelearning
Java java
并发模型 1570268561851
分布式 1570268561848
Scala scala
个人 1570268561786
标签
大模型 1724575145148
ChatGPT chatgpt
HA ha
智能家居 1658551798248
LSM lsm
Linux linux
Dapr dapr
开发 1616222897117
插件 1616222897114
Linux,虚拟机,ubuntu linuxubuntu
缓存 1607934231971
图片 1602047103997
Flink flink
反射 1589899169795
内置函数 1584872069163
go go
限流 1579436774946
大数据,Spark,Kafka sparkkafka
面向对象 1577001932084
镜像 1574605087432
docker,hadoop,镜像 dockerhadoop
kafka,java kafkajava
求导 1570269314448
链式法则 1570269314426
微积分 1570269314424
源码 1570268919002
快照 1570268919000
协议 1570268918982
ZooKeeper zookeeper
ZAB zab
tomcat tomcat
Hadoop hadoop
Spark spark
python python
自动微分 1570268887313
React Native react-native
React react
Node.js nodejs
Android android
Kafka kafka
lambda lambda
jvm jvm
rasp rasp
框架 1570268874733
SPI spi
asm asm
maven maven
idea idea
依赖管理 1570268869820
module module
helm helm
逻辑回归 1570268867352
S函数 s
IOS ios
Fiddler fiddler
Andriod andriod
Protocol Buffer protocol-buffer
kryo kryo
车联网，大数据，神经网络 1570268864784
字节序 1570268864768
最小二乘法 1570268820850
线性代数 1570268818403
线性回归 1570268818399
最大似然法 1570268818396
网络编程 1570268818375
大数据 1570268818373
树莓派 1570268815782
Raspbian raspbian
redis redis
海南 1570268813719
分析 1570268813716
人口 1570268813713
函数式编程 1570268782732
clojure clojure
线程 1570268780411
并行 1570268780384
actor actor
红黑树 1570268777657
数组 1570268775246
动态数组 1570268775232
tcp tcp
编程 1570268772807
markdown markdown
二叉搜索树 1570268772791
AVL树 avl
数据结构 1570268694445
golang golang
梯度下降法 1570268692131
skaffold skaffold
k8s k8s
机器学习 1570268692108
选法 1570268689977
一致性 1570268689958
算法 1570268689961
分布式 1570268689959
paxos paxos
Raft raft
一致性协议 1570268689942
引擎 1570268687625
容器 1570268687607
通信 1570268687550
微服务 1570268687517
Kubernetes kubernetes
docker docker
文件系统 1570268667551
NFS nfs
神经网络 1570268667524
神经元 1570268667523
深度学习 1570268667521
poi poi
反向传播 1570268667500
java java
并发模型 1570268561830
并发 1570268561821
多线程 1570268561819
Scala scala