数说海南——近6年海南各市县人口简单看

      时隔7年再看海南人口流入情况,这几年海南政策相当多特别是提出海南自由贸易港之后,还提出了百万人才进海南计划。这几年海南人口相对前些年也有所增长,其中在2020年常住人口首次超过1000万人。       七年后再看海南近十个市县的户籍人口与常住人口,人口的净流入肯定和当地的经济发展有着莫

RAG知识库优化之Rerank应用

      前面几篇文章介绍了最基本的RAG实现,也了解了RAG的基本原理。最基本的RAG 流程为用户Query问题,RAG应用在向量库查询出Context,然后将Query与 Context喂到LLM,LLM生成满足Query的Response答案。       从这里可以存在三元组: Query

RAG知识库的可靠性评估(二)

        上篇文件介绍了RAG优化与评估的基本概念,以及使用TruLens-Eval在没有Ground-truth的情况下评估RAG应用。本篇文件主要是使用Ragas对RAG应用进行评估;         使用了Gagas生成合成测试数据集,在只有知识库文档并没有Ground-truth(真实

RAG知识库的可靠性评估(一)

    在开发基于LLM的RAG应用并准备将其上线应用时,都会比较关注RAG的性能、质量、可靠性其回答的结果准确性到底如何,甚至可以说RAG的质量可靠性其重要性要大于性能,RAG“调好了”看上去效果不错,有没有什么方法去量化度量RAG应用的质量也至关重要,下图为RAG应用度量质量指标分布图。 何为

自动求导实现与可视化

    micrograd为一个自动梯度引擎,其实现了反向传播算法,用于学习理解深度学习中的自动求导原理。自动求导无论再传统的机器学习中还是深度学习或是目前非常热门的大语言模型GPT中其都是非常重要基础部分。     反向传播算法可以高效计算出神经网络中损失函数关于训练权重的梯度,使得可通过快速迭代

Ray一个通用分布式计算框架基本使用

  Ray一个开源的通用分布式计算框架,支持传统的并行任务并支持AI模型的分布式训练,分布式任务包括有状态与无状态任务;Ray提供了统一的接口提供了基于任务的并行计算与基于行动器的计算,前者通常用于无状态的任务后者用于有状态的任务;Ray为一个具有高可扩展性、容错性的分布式计算集群框架;集群即可逻辑

使用Langchain与ChatGLM实现本地知识库(二)

  大语言模型也只是将用户提供的大规模数据集训练而来,也并非万能的什么都知道,特别是一些小众知识、内部数据或私密的个人数据等,此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答;不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在

使用LangChain与ChatGLM实现本地知识库(一)

  本篇主要内容为介绍ChatGLM3的安装使用,后续才会涉及到使用LangChain实现本地知识库的内容;   ChatGLM为智谱与清华大学开源的一个大语言模型,支持多轮对话、内容创作等,ChatGLM3-6B为ChatGLM3系列中门槛相对较低的一个,本地部署提供兼容OpenAI的API;  

在树莓派中跑迷你Llama2中文模型

  OpenAI的Karpathy利用周末搞了一个迷你Llama2项目llama2.c用500行C语言实现无任何依赖项的推理程序,此项目在github发布以来衍生出了基于各种语言的迷你Llama推理实现llama2.go、llama2.java、llama2.py等等;   但该项目原本的模型并不支

使用GFPGAN修复美化老照片

  老照片修复利器GFPGAN,该模型为腾讯2021年开源的一个用于图片人脸复原修复的GAN模型;我们都有很多老照片,很多很久以前用两三百万像素拍的照片或原文件丢失了,只剩下压缩文件或QQ空间里面的老照片,现在一些App也支持老照片修复但往往效果不太理想或都需要收费;这时可以使用GFPGAN对相片进
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×