logo
15
1
WeChat Login
Gang Chen<gangchen@mbp.local>
init commit

视频转码智能监控与预警平台

项目简介

本项目通过微调大语言模型实现视频转码日志的智能解析,为视频网站提供转码状态监控与失败诊断服务。系统能够:

  • 自动判断转码任务是否成功
  • 精准定位失败原因(如编码参数错误、资源不足等)
  • 提供针对性解决方案
  • 通过飞书等渠道推送预警信息

目录结构说明

数据预处理模块 (data-cleaning/)

文件名功能描述
alpaca2chatml.py将Alpaca格式数据转换为ChatML格式,适配模型训练需求
alpaca_data.json包含FFmpeg日志示例与人工标注的问答对(原始数据)
chatml_data.json转换后的标准训练数据

模型微调模块 (fine-tuning/)

文件名功能描述
0-ffmpeg_log_analyzer_training.ipynb完整训练流程:数据加载→模型微调→结果验证(需GPU环境)
1-ollama_inference.ipynb使用Ollama进行本地模型推理测试,验证诊断准确性

监控平台模块 (monitor-platform/)

文件名功能描述
0-ffmpeg-log-server.ipynb日志采集服务:接收FFmpeg输出流→调用模型分析→返回诊断结果
1-server-test.ipynb提供单元测试用例,验证服务端各功能模块的可靠性
send_feishu.ipynb实现飞书机器人消息推送功能,包含Webhook配置示例