InferOps
大模型推理任务自动化调度与评测平台
面向大模型推理上线流程的自动化任务平台，支持模型服务启动、评测、压测、量化与上线前验证，降低推理服务部署和性能验证的工程成本。
- Python
- FastAPI
- Ray
- vLLM
- MySQL
- Vue 3
Selected work
从模型到系统
从想法到实现
关注 AI 工程化实践，构建稳定、可用、可扩展的软件系统。
↗
Edge Flow infra
分布式边缘 AI 任务调度与混合通信框架
面向边缘设备提供一套通用的业务节点接入与调度机制，让新的模型节点或设备控制节点能够以插件化方式快速接入，并通过统一 API 对外提供服务。
- C++
- ZMQ
- eventpp
- FastAPI
- Vue 3
- Docker
LLM Voice Flow
端侧离线智能语音交互系统
基于 RK3576 NPU 和 C++ 构建的端侧离线语音交互系统，实现从语音识别、LLM 推理到语音合成的低延迟闭环。
- C++
- ZeroMQ
- 端侧部署
- 多线程
- ASR
- TTS
PPG-Former Dual-Stream Multi-Task Model
PPG-PRV 双流协同多任务心理压力预测模型
基于光电容积脉搏波与脉率变异性的双流协同多任务心理压力预测模型，通过生理先验位置编码、跨模态注意力与多任务学习提升模型表现。
- Python
- PyTorch
- Time Series
- Multi-task