logo
0
0
WeChat Login

LLM Memory Integration - 私有增强包

高性能 LLM 记忆集成框架,提供向量计算、硬件优化、RAG 增强和智能缓存能力。

当前版本:v3.0.5(生产就绪)

特性

  • 高性能向量计算 - 自动检测 FMA/MKL/SIMD 指令集加速
  • 多级缓存系统 - L1/L2/L3/NUMA/DRAM/CXL 智能预取
  • 硬件感知优化 - CPU/GPU/内存/IO 协同调度
  • 前沿 RAG 能力 - 投机解码、混合检索、命题级检索、上下文压缩
  • 跨平台支持 - Linux/macOS/Windows 自动适配,优雅降级

快速开始

# 安装(自动拉取私有增强包) clawhub install llm-memory-integration # 私有包自动克隆到: # ~/.openclaw/workspace/skills/llm-memory-integration/src/privileged/
from llm import initialize result = initialize() # Platform: Linux x86_64 | Optimizations: numa, hugepages | Tools: 9

核心模块

向量计算

  • vector_api.py - 向量运算、Top-K 搜索、余弦相似度
  • mkl_accelerator.py - Intel MKL 矩阵加速
  • quantization.py - 向量量化压缩

缓存系统

  • unified_cache.py - 统一多级缓存
  • rag_cache.py - RAG 知识树缓存
  • semantic_cache.py - 语义相似度缓存

硬件优化

  • hardware_optimize.py - 自动硬件检测与调优
  • numa_optimizer.py - NUMA 亲和性绑定
  • gpu_optimizer.py - CUDA/OpenCL GPU 加速
  • kunpeng_optimizer.py - 华为鲲鹏专用优化

RAG 增强

  • hybrid_search.py - Dense+Sparse 混合检索
  • speculative_decoder.py - 投机解码加速推理
  • streaming_llm.py - 无限长度流式推理
  • crag_pipeline.py - CRAG 自纠正管线
  • context_compressor.py - LLMLingua 上下文压缩
  • proposition_retriever.py - 原子命题级检索

资源管理

  • resource_orchestrator.py - 统一资源编排
  • power_manager.py - DVFS 电源管理
  • io_optimizer.py - I/O 调度优化

版本历史

版本主要变更
v3.0.5模块协同与进程管理优化;15 项稳定性修复;生产就绪
v3.0.07 项论文级模块(投机解码、混合检索、命题检索、上下文压缩、RAG 失败检测、Late Chunking、StreamingLLM);CRAG 自纠正管线
v2.1.0资源编排器、统一缓存、向量 API、I/O 优化器
v2.0.0GPU 检测、安全对齐、检索评估
v1.4.014 个搜索增强子模块
v1.0.0初始版本

依赖

级别依赖用途
必须numpy (Python 3.8+)向量计算
推荐pysqlite3-binary向量搜索
可选scipy, scikit-learn, aiohttp, pyopencl扩展功能

测试

python3 -m unittest test_suite -v

安全保障

  • 参数类型与范围校验
  • SHA-256 路径哈希防护
  • 扩展白名单机制
  • 线程安全锁保护
  • 连接资源安全释放

许可证

MIT License

链接

About

No description, topics, or website provided.