微调课程 - Lesson 3 v2 高效微调

这个仓库包含了机器学习和深度学习相关的多个项目，主要涉及神经网络实现和大语言模型微调技术。

export UV_DEFAULT_INDEX="https://pypi.tuna.tsinghua.edu.cn/simple"

HF_ENDPOINT=https://hf-mirror.com

UNSLOTH_USE_MODELSCOPE=1

source /etc/network_turbo

可以参考 https://autodl.com/docs/network_turbo/

一个使用C语言从头实现的神经网络框架，采用反向传播算法进行训练。

主要特性：

• 完全使用C语言实现
• 支持自定义网络层数和每层神经元数量
• 实现了反向传播算法
• 支持自定义训练数据和标签

使用方法：

1. 编译项目：make
2. 运行程序：./backprop
3. 按提示输入网络结构参数、学习率、训练样本等信息
4. make clean

详细说明请参考 Neural-Network-framework-using-Backpropogation-in-C/README.md

使用PEFT (Parameter-Efficient Fine-Tuning) 库进行Prompt Tuning的示例项目。

主要特性：

• 使用Hugging Face Transformers和PEFT库
• 基于BLOOMZ-560M模型进行Prompt Tuning
• 使用Twitter Complaints数据集进行训练
• 实现文本分类任务（判断推文是否为投诉）

1. 部分脚本可能需要根据实际环境调整路径配置
2. 确保在AutoDL平台上运行此项目