MachineLearning 

RAG应用之针对长文档的Raptor索引

      在现有的朴素RAG应用中其只是简单的对文档进行分块后存储的向量库中，然后在使用是根据 提问问题 从查询向量库中查询相识度较高的文档快作为问题上下文提交到LLM让其根据上下文去回答用户所提问的问题。对于小文本可以直接将整个文档作为上下文或使用上篇文章所提到的**多表示索引（Multi-re
阅读更多
Linux  大数据  树莓派 

小林同学智能AI大模型语音助手

      闲来无事，想起吃灰的树莓派拿来做点什么，貌似去年还专门买了个麦克风还没怎么用过。正好拿来做个类似小爱智能语音助手的小林同学，现在智能助手不接入大模型都不好意思说出来，当然小林同学没有小爱同学的米家生态功能，后续如果加入多模态图片识别貌似会更有点意思。       智能助手涉及到的技术主要
阅读更多
MachineLearning  大数据 

RAG知识库之多表示索引

      在朴素RAG中通常会对文档、文本进行分块后进行文档嵌入，对所有文件、文本都没有经过采用Chunk方法可能有时候效果不是和好，尽管有着各种分块策略有针对大文件的、针对小文件的策略，但都难免可能会造成上下文语义丢失。       分块通常有两个非常重要的参数chunk_size、chunk_
阅读更多
Linux 

一个非侵入式跟踪分析程序

      otel-profiling-agent为elastic开源项目，用于对生产环境中的应用程序进行性能分析，帮助开发者理解程序的运行情况，识别瓶颈，优化性能。用于包括CPU和内存使用情况的分析、调用跟踪、性能指标收集等功能。它是一个用于Linux的全系统、跨语言的性能分析器，通过eBPF（
阅读更多
海南 

数说海南——近6年海南各市县人口简单看

      时隔7年再看海南人口流入情况，这几年海南政策相当多特别是提出海南自由贸易港之后，还提出了百万人才进海南计划。这几年海南人口相对前些年也有所增长，其中在2020年常住人口首次超过1000万人。       七年后再看海南近十个市县的户籍人口与常住人口，人口的净流入肯定和当地的经济发展有着莫
阅读更多
python  MachineLearning 

RAG知识库优化之Rerank应用

      前面几篇文章介绍了最基本的RAG实现，也了解了RAG的基本原理。最基本的RAG 流程为用户Query问题，RAG应用在向量库查询出Context，然后将Query与 Context喂到LLM，LLM生成满足Query的Response答案。       从这里可以存在三元组： Query
阅读更多
python  MachineLearning 

RAG知识库的可靠性评估（二）

        上篇文件介绍了RAG优化与评估的基本概念，以及使用TruLens-Eval在没有Ground-truth的情况下评估RAG应用。本篇文件主要是使用Ragas对RAG应用进行评估；         使用了Gagas生成合成测试数据集，在只有知识库文档并没有Ground-truth（真实
阅读更多
MachineLearning 

RAG知识库的可靠性评估（一）

    在开发基于LLM的RAG应用并准备将其上线应用时，都会比较关注RAG的性能、质量、可靠性其回答的结果准确性到底如何，甚至可以说RAG的质量可靠性其重要性要大于性能，RAG“调好了”看上去效果不错，有没有什么方法去量化度量RAG应用的质量也至关重要，下图为RAG应用度量质量指标分布图。 何为
阅读更多
MachineLearning 

自动求导实现与可视化

    micrograd为一个自动梯度引擎，其实现了反向传播算法，用于学习理解深度学习中的自动求导原理。自动求导无论再传统的机器学习中还是深度学习或是目前非常热门的大语言模型GPT中其都是非常重要基础部分。     反向传播算法可以高效计算出神经网络中损失函数关于训练权重的梯度，使得可通过快速迭代
阅读更多
分布式  python  MachineLearning 

Ray一个通用分布式计算框架基本使用

  Ray一个开源的通用分布式计算框架，支持传统的并行任务并支持AI模型的分布式训练，分布式任务包括有状态与无状态任务；Ray提供了统一的接口提供了基于任务的并行计算与基于行动器的计算，前者通常用于无状态的任务后者用于有状态的任务；Ray为一个具有高可扩展性、容错性的分布式计算集群框架；集群即可逻辑
阅读更多
关注我

分类

标签云

大模型 ChatGPT HA 智能家居 LSM Linux Dapr 开发 插件 Linux,虚拟机,ubuntu 缓存 图片 Flink 反射 内置函数 go 限流 大数据,Spark,Kafka 面向对象 镜像 docker,hadoop,镜像 kafka,java 求导 链式法则 微积分 源码 快照 协议 ZooKeeper ZAB tomcat Hadoop Spark python 自动微分 React Native React Node.js Android Kafka lambda jvm rasp 框架 SPI asm maven idea 依赖管理 module helm 逻辑回归 S函数 IOS Fiddler Andriod Protocol Buffer kryo 车联网，大数据，神经网络 字节序 最小二乘法 线性代数 线性回归 最大似然法 网络编程 大数据 树莓派 Raspbian redis 海南 分析 人口 函数式编程 clojure 线程 并行 actor 红黑树 数组 动态数组 tcp 编程 markdown 二叉搜索树 AVL树 数据结构 golang 梯度下降法 skaffold k8s 机器学习 选法 一致性 算法 分布式 paxos Raft 一致性协议 引擎 容器 通信 微服务 Kubernetes docker 文件系统 NFS 神经网络 神经元 深度学习 poi 反向传播 java 并发模型 并发 多线程 Scala

最新文章

标签

大模型 5
ChatGPT 10
HA 1
智能家居 6
LSM 4
Linux 9
Dapr 1
开发 2
插件 1
Linux,虚拟机,ubuntu 1
缓存 1
图片 1
Flink 3
反射 1
内置函数 1
go 2
限流 1
大数据,Spark,Kafka 2
面向对象 1
镜像 1
docker,hadoop,镜像 0
kafka,java 1
求导 1
链式法则 1
微积分 1
源码 1
快照 1
协议 1
ZooKeeper 2
ZAB 1
tomcat 3
Hadoop 2
Spark 7
python 4
自动微分 3
React Native 1
React 1
Node.js 1
Android 1
Kafka 3
lambda 1
jvm 3
rasp 1
框架 1
SPI 1
asm 1
maven 1
idea 2
依赖管理 1
module 1
helm 1
逻辑回归 1
S函数 1
IOS 1
Fiddler 1
Andriod 1
Protocol Buffer 2
kryo 1
车联网，大数据，神经网络 1
字节序 1
最小二乘法 4
线性代数 2
线性回归 7
最大似然法 1
网络编程 3
大数据 4
树莓派 7
Raspbian 1
redis 1
海南 3
分析 3
人口 1
函数式编程 1
clojure 1
线程 1
并行 1
actor 2
红黑树 1
数组 1
动态数组 1
tcp 1
编程 1
markdown 1
二叉搜索树 4
AVL树 1
数据结构 7
golang 23
梯度下降法 5
skaffold 1
k8s 1
机器学习 18
选法 1
一致性 2
算法 6
分布式 12
paxos 1
Raft 3
一致性协议 3
引擎 1
容器 2
通信 1
微服务 2
Kubernetes 7
docker 15
文件系统 1
NFS 1
神经网络 4
神经元 1
深度学习 3
poi 1
反向传播 2
java 25
并发模型 4
并发 5
多线程 3
Scala 8

最新文章

标签

大模型 5
ChatGPT 10
HA 1
智能家居 6
LSM 4
Linux 9
Dapr 1
开发 2
插件 1
Linux,虚拟机,ubuntu 1
缓存 1
图片 1
Flink 3
反射 1
内置函数 1
go 2
限流 1
大数据,Spark,Kafka 2
面向对象 1
镜像 1
docker,hadoop,镜像 0
kafka,java 1
求导 1
链式法则 1
微积分 1
源码 1
快照 1
协议 1
ZooKeeper 2
ZAB 1
tomcat 3
Hadoop 2
Spark 7
python 4
自动微分 3
React Native 1
React 1
Node.js 1
Android 1
Kafka 3
lambda 1
jvm 3
rasp 1
框架 1
SPI 1
asm 1
maven 1
idea 2
依赖管理 1
module 1
helm 1
逻辑回归 1
S函数 1
IOS 1
Fiddler 1
Andriod 1
Protocol Buffer 2
kryo 1
车联网，大数据，神经网络 1
字节序 1
最小二乘法 4
线性代数 2
线性回归 7
最大似然法 1
网络编程 3
大数据 4
树莓派 7
Raspbian 1
redis 1
海南 3
分析 3
人口 1
函数式编程 1
clojure 1
线程 1
并行 1
actor 2
红黑树 1
数组 1
动态数组 1
tcp 1
编程 1
markdown 1
二叉搜索树 4
AVL树 1
数据结构 7
golang 23
梯度下降法 5
skaffold 1
k8s 1
机器学习 18
选法 1
一致性 2
算法 6
分布式 12
paxos 1
Raft 3
一致性协议 3
引擎 1
容器 2
通信 1
微服务 2
Kubernetes 7
docker 15
文件系统 1
NFS 1
神经网络 4
神经元 1
深度学习 3
poi 1
反向传播 2
java 25
并发模型 4
并发 5
多线程 3
Scala 8
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×

最新文章
小玩具：ESP32——刷固件与亮屏

数说海南—五年来各市县城市建设概况

浅看浅谈浅体验DeepSeek-R1模型

AI Agents(智能体)是什么能做什么

模型上下文协议MCP

分类
智能家居 1658551774465
Dapr dapr
Flink flink
Spark spark
python python
Android android
kafka kafka
Javascript javascript
Uncategorized uncategorized
闲谈 1570268818440
树莓派 1570268815800
海南 1570268813721
其他技术 1570268772808
数据结构 1570268694453
Golang golang
大数据 1570268692135
Docker docker
Linux linux
MachineLearning machinelearning
Java java
并发模型 1570268561851
分布式 1570268561848
Scala scala
个人 1570268561786
标签
大模型 1724575145148
ChatGPT chatgpt
HA ha
智能家居 1658551798248
LSM lsm
Linux linux
Dapr dapr
开发 1616222897117
插件 1616222897114
Linux,虚拟机,ubuntu linuxubuntu
缓存 1607934231971
图片 1602047103997
Flink flink
反射 1589899169795
内置函数 1584872069163
go go
限流 1579436774946
大数据,Spark,Kafka sparkkafka
面向对象 1577001932084
镜像 1574605087432
docker,hadoop,镜像 dockerhadoop
kafka,java kafkajava
求导 1570269314448
链式法则 1570269314426
微积分 1570269314424
源码 1570268919002
快照 1570268919000
协议 1570268918982
ZooKeeper zookeeper
ZAB zab
tomcat tomcat
Hadoop hadoop
Spark spark
python python
自动微分 1570268887313
React Native react-native
React react
Node.js nodejs
Android android
Kafka kafka
lambda lambda
jvm jvm
rasp rasp
框架 1570268874733
SPI spi
asm asm
maven maven
idea idea
依赖管理 1570268869820
module module
helm helm
逻辑回归 1570268867352
S函数 s
IOS ios
Fiddler fiddler
Andriod andriod
Protocol Buffer protocol-buffer
kryo kryo
车联网，大数据，神经网络 1570268864784
字节序 1570268864768
最小二乘法 1570268820850
线性代数 1570268818403
线性回归 1570268818399
最大似然法 1570268818396
网络编程 1570268818375
大数据 1570268818373
树莓派 1570268815782
Raspbian raspbian
redis redis
海南 1570268813719
分析 1570268813716
人口 1570268813713
函数式编程 1570268782732
clojure clojure
线程 1570268780411
并行 1570268780384
actor actor
红黑树 1570268777657
数组 1570268775246
动态数组 1570268775232
tcp tcp
编程 1570268772807
markdown markdown
二叉搜索树 1570268772791
AVL树 avl
数据结构 1570268694445
golang golang
梯度下降法 1570268692131
skaffold skaffold
k8s k8s
机器学习 1570268692108
选法 1570268689977
一致性 1570268689958
算法 1570268689961
分布式 1570268689959
paxos paxos
Raft raft
一致性协议 1570268689942
引擎 1570268687625
容器 1570268687607
通信 1570268687550
微服务 1570268687517
Kubernetes kubernetes
docker docker
文件系统 1570268667551
NFS nfs
神经网络 1570268667524
神经元 1570268667523
深度学习 1570268667521
poi poi
反向传播 1570268667500
java java
并发模型 1570268561830
并发 1570268561821
多线程 1570268561819
Scala scala