MachineLearning 

海南话语音识别模型——数据预处理

      现在很多语音助手比如小爱同学、小度等都有支持方言语音识别，开源模型也有不少中文的ASR(自动语音识别)预训练模型可做到开箱即用。方言的ASR模型比较少特别是海南话ASR模型更是没有。这几篇文章主要是基于Transformer从0开始训练一个海南话语音识别模型，当然效果可能不会特别好，这也
阅读更多
MachineLearning 

RAG知识库之知识库图谱应用

      上篇文章介绍了使用大模型构建生成知识图谱，其实也可不用大模型用其他方式构建生成知识图谱，但RAG要结合知识图谱使用关键还是怎么把图谱的内容查询出来；简单来说可以先查出Chunk集在关联查出每个Chunk所关联的实体Entity再查询出实体之间的的关系集；这里说的RAG结合知识图谱和微软开
阅读更多
MachineLearning 

RAG知识库之构建知识库图谱

      前面几篇文章谈了多种针对RAG的优化如多表示索引（Multi-representation indexing）、Raptor等但其都是存储在向量库中的，这里将介绍一种新的存储模式，图数据库，适合存储数据高度相关的数据。其存储实体与实体间的关系，存储着丰富的关系类型数据，能给RAG知识库带
阅读更多
MachineLearning 

RAG应用之针对长文档的Raptor索引

      在现有的朴素RAG应用中其只是简单的对文档进行分块后存储的向量库中，然后在使用是根据 提问问题 从查询向量库中查询相识度较高的文档快作为问题上下文提交到LLM让其根据上下文去回答用户所提问的问题。对于小文本可以直接将整个文档作为上下文或使用上篇文章所提到的**多表示索引（Multi-re
阅读更多
MachineLearning  大数据 

RAG知识库之多表示索引

      在朴素RAG中通常会对文档、文本进行分块后进行文档嵌入，对所有文件、文本都没有经过采用Chunk方法可能有时候效果不是和好，尽管有着各种分块策略有针对大文件的、针对小文件的策略，但都难免可能会造成上下文语义丢失。       分块通常有两个非常重要的参数chunk_size、chunk_
阅读更多
python  MachineLearning 

RAG知识库优化之Rerank应用

      前面几篇文章介绍了最基本的RAG实现，也了解了RAG的基本原理。最基本的RAG 流程为用户Query问题，RAG应用在向量库查询出Context，然后将Query与 Context喂到LLM，LLM生成满足Query的Response答案。       从这里可以存在三元组： Query
阅读更多
python  MachineLearning 

RAG知识库的可靠性评估（二）

        上篇文件介绍了RAG优化与评估的基本概念，以及使用TruLens-Eval在没有Ground-truth的情况下评估RAG应用。本篇文件主要是使用Ragas对RAG应用进行评估；         使用了Gagas生成合成测试数据集，在只有知识库文档并没有Ground-truth（真实
阅读更多
MachineLearning 

RAG知识库的可靠性评估（一）

    在开发基于LLM的RAG应用并准备将其上线应用时，都会比较关注RAG的性能、质量、可靠性其回答的结果准确性到底如何，甚至可以说RAG的质量可靠性其重要性要大于性能，RAG“调好了”看上去效果不错，有没有什么方法去量化度量RAG应用的质量也至关重要，下图为RAG应用度量质量指标分布图。 何为
阅读更多
MachineLearning 

自动求导实现与可视化

    micrograd为一个自动梯度引擎，其实现了反向传播算法，用于学习理解深度学习中的自动求导原理。自动求导无论再传统的机器学习中还是深度学习或是目前非常热门的大语言模型GPT中其都是非常重要基础部分。     反向传播算法可以高效计算出神经网络中损失函数关于训练权重的梯度，使得可通过快速迭代
阅读更多
分布式  python  MachineLearning 

Ray一个通用分布式计算框架基本使用

  Ray一个开源的通用分布式计算框架，支持传统的并行任务并支持AI模型的分布式训练，分布式任务包括有状态与无状态任务；Ray提供了统一的接口提供了基于任务的并行计算与基于行动器的计算，前者通常用于无状态的任务后者用于有状态的任务；Ray为一个具有高可扩展性、容错性的分布式计算集群框架；集群即可逻辑
阅读更多
关注我

分类

标签云

Agent 大模型 ChatGPT HA 智能家居 LSM Linux Dapr 开发 插件 Linux,虚拟机,ubuntu 缓存 图片 Flink 反射 内置函数 go 限流 大数据,Spark,Kafka 面向对象 镜像 docker,hadoop,镜像 kafka,java 求导 链式法则 微积分 源码 快照 协议 ZooKeeper ZAB tomcat Hadoop Spark python 自动微分 React Native React Node.js Android Kafka lambda jvm rasp 框架 SPI asm maven idea 依赖管理 module helm 逻辑回归 S函数 IOS Fiddler Andriod Protocol Buffer kryo 车联网，大数据，神经网络 字节序 最小二乘法 线性代数 线性回归 最大似然法 网络编程 大数据 树莓派 Raspbian redis 海南 分析 人口 函数式编程 clojure 线程 并行 actor 红黑树 数组 动态数组 tcp 编程 markdown 二叉搜索树 AVL树 数据结构 golang 梯度下降法 skaffold k8s 机器学习 选法 一致性 算法 分布式 paxos Raft 一致性协议 引擎 容器 通信 微服务 Kubernetes docker 文件系统 NFS 神经网络 神经元 深度学习 poi 反向传播 java 并发模型 并发 多线程 Scala

最新文章

标签

Agent 2
大模型 11
ChatGPT 12
HA 1
智能家居 7
LSM 4
Linux 9
Dapr 1
开发 2
插件 1
Linux,虚拟机,ubuntu 1
缓存 1
图片 1
Flink 3
反射 1
内置函数 1
go 2
限流 1
大数据,Spark,Kafka 2
面向对象 1
镜像 1
docker,hadoop,镜像 0
kafka,java 1
求导 1
链式法则 1
微积分 1
源码 1
快照 1
协议 1
ZooKeeper 2
ZAB 1
tomcat 3
Hadoop 2
Spark 7
python 4
自动微分 3
React Native 1
React 1
Node.js 1
Android 1
Kafka 3
lambda 1
jvm 3
rasp 1
框架 1
SPI 1
asm 1
maven 1
idea 2
依赖管理 1
module 1
helm 1
逻辑回归 1
S函数 1
IOS 1
Fiddler 1
Andriod 1
Protocol Buffer 2
kryo 1
车联网，大数据，神经网络 1
字节序 1
最小二乘法 4
线性代数 2
线性回归 7
最大似然法 1
网络编程 3
大数据 4
树莓派 7
Raspbian 1
redis 1
海南 3
分析 3
人口 1
函数式编程 1
clojure 1
线程 1
并行 1
actor 2
红黑树 1
数组 1
动态数组 1
tcp 1
编程 1
markdown 1
二叉搜索树 4
AVL树 1
数据结构 7
golang 23
梯度下降法 5
skaffold 1
k8s 1
机器学习 19
选法 1
一致性 2
算法 6
分布式 12
paxos 1
Raft 3
一致性协议 3
引擎 1
容器 2
通信 1
微服务 2
Kubernetes 7
docker 15
文件系统 1
NFS 1
神经网络 4
神经元 1
深度学习 3
poi 1
反向传播 2
java 25
并发模型 4
并发 5
多线程 3
Scala 8

最新文章

标签

Agent 2
大模型 11
ChatGPT 12
HA 1
智能家居 7
LSM 4
Linux 9
Dapr 1
开发 2
插件 1
Linux,虚拟机,ubuntu 1
缓存 1
图片 1
Flink 3
反射 1
内置函数 1
go 2
限流 1
大数据,Spark,Kafka 2
面向对象 1
镜像 1
docker,hadoop,镜像 0
kafka,java 1
求导 1
链式法则 1
微积分 1
源码 1
快照 1
协议 1
ZooKeeper 2
ZAB 1
tomcat 3
Hadoop 2
Spark 7
python 4
自动微分 3
React Native 1
React 1
Node.js 1
Android 1
Kafka 3
lambda 1
jvm 3
rasp 1
框架 1
SPI 1
asm 1
maven 1
idea 2
依赖管理 1
module 1
helm 1
逻辑回归 1
S函数 1
IOS 1
Fiddler 1
Andriod 1
Protocol Buffer 2
kryo 1
车联网，大数据，神经网络 1
字节序 1
最小二乘法 4
线性代数 2
线性回归 7
最大似然法 1
网络编程 3
大数据 4
树莓派 7
Raspbian 1
redis 1
海南 3
分析 3
人口 1
函数式编程 1
clojure 1
线程 1
并行 1
actor 2
红黑树 1
数组 1
动态数组 1
tcp 1
编程 1
markdown 1
二叉搜索树 4
AVL树 1
数据结构 7
golang 23
梯度下降法 5
skaffold 1
k8s 1
机器学习 19
选法 1
一致性 2
算法 6
分布式 12
paxos 1
Raft 3
一致性协议 3
引擎 1
容器 2
通信 1
微服务 2
Kubernetes 7
docker 15
文件系统 1
NFS 1
神经网络 4
神经元 1
深度学习 3
poi 1
反向传播 2
java 25
并发模型 4
并发 5
多线程 3
Scala 8
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×

最新文章
详解智能体应用——网课生成Agent

详解智能体应用——合同审查Agent

精准与效率：RAG应用PDF文档图文提取OCR策略

详解智能体应用——资讯简报智能体

AI工作流与智能体的人机协作及应用

分类
智能家居 1658551774465
Dapr dapr
Flink flink
Spark spark
python python
Android android
kafka kafka
Javascript javascript
Uncategorized uncategorized
闲谈 1570268818440
树莓派 1570268815800
海南 1570268813721
其他技术 1570268772808
数据结构 1570268694453
Golang golang
大数据 1570268692135
Docker docker
Linux linux
MachineLearning machinelearning
Java java
并发模型 1570268561851
分布式 1570268561848
Scala scala
个人 1570268561786
标签
Agent agent
大模型 1724575145148
ChatGPT chatgpt
HA ha
智能家居 1658551798248
LSM lsm
Linux linux
Dapr dapr
开发 1616222897117
插件 1616222897114
Linux,虚拟机,ubuntu linuxubuntu
缓存 1607934231971
图片 1602047103997
Flink flink
反射 1589899169795
内置函数 1584872069163
go go
限流 1579436774946
大数据,Spark,Kafka sparkkafka
面向对象 1577001932084
镜像 1574605087432
docker,hadoop,镜像 dockerhadoop
kafka,java kafkajava
求导 1570269314448
链式法则 1570269314426
微积分 1570269314424
源码 1570268919002
快照 1570268919000
协议 1570268918982
ZooKeeper zookeeper
ZAB zab
tomcat tomcat
Hadoop hadoop
Spark spark
python python
自动微分 1570268887313
React Native react-native
React react
Node.js nodejs
Android android
Kafka kafka
lambda lambda
jvm jvm
rasp rasp
框架 1570268874733
SPI spi
asm asm
maven maven
idea idea
依赖管理 1570268869820
module module
helm helm
逻辑回归 1570268867352
S函数 s
IOS ios
Fiddler fiddler
Andriod andriod
Protocol Buffer protocol-buffer
kryo kryo
车联网，大数据，神经网络 1570268864784
字节序 1570268864768
最小二乘法 1570268820850
线性代数 1570268818403
线性回归 1570268818399
最大似然法 1570268818396
网络编程 1570268818375
大数据 1570268818373
树莓派 1570268815782
Raspbian raspbian
redis redis
海南 1570268813719
分析 1570268813716
人口 1570268813713
函数式编程 1570268782732
clojure clojure
线程 1570268780411
并行 1570268780384
actor actor
红黑树 1570268777657
数组 1570268775246
动态数组 1570268775232
tcp tcp
编程 1570268772807
markdown markdown
二叉搜索树 1570268772791
AVL树 avl
数据结构 1570268694445
golang golang
梯度下降法 1570268692131
skaffold skaffold
k8s k8s
机器学习 1570268692108
选法 1570268689977
一致性 1570268689958
算法 1570268689961
分布式 1570268689959
paxos paxos
Raft raft
一致性协议 1570268689942
引擎 1570268687625
容器 1570268687607
通信 1570268687550
微服务 1570268687517
Kubernetes kubernetes
docker docker
文件系统 1570268667551
NFS nfs
神经网络 1570268667524
神经元 1570268667523
深度学习 1570268667521
poi poi
反向传播 1570268667500
java java
并发模型 1570268561830
并发 1570268561821
多线程 1570268561819
Scala scala