logo
0
0
WeChat Login

简介

这个项目计划进行RAG全系统实践,并配置一组前端,后端:Qwen3-0.6B生成,embedding,reranking。前端部分计划由AI生成。示例知识库是HAI_AI report。仅供学习,没有适配到纯CPU的计划。

未来有将这些做成一个教程的计划。

学习笔记将会保存到当前文件。

01

项目初始化:

执行install_nvcc.sh以安装NVIDIA 编译器,nvcc 版本可以在文件中修改。其余python库将使用pyproject.toml进行版本管理,使用pip进行包管理。 当前Python&pip版本\

root@a5e16506cc78:/workspace# python3 --version
Python 3.13.5
root@a5e16506cc78:/workspace# pip --version
pip 25.1.1 from /usr/lib/python3/dist-packages/pip (python 3.13)

模型下载:

全部下载自modelscope 对于[man,woman]和[king,queen]的测试组

alt text

flash-attn对于当前环境不适合。

final_lab

About

使用Qwen3系列0.6B的文本生成、词嵌入、重排序三个模型,实现一个基础的RAG系统,并对此可视化

3.66 GiB
44.41 KiB
0 forks0 stars1 branches0 TagREADME
Language
Python95.2%
Shell4.8%