2025.07 - 2026.03
大模型推理任务自动化调度与评测平台
作业帮 · 推理优化算法实习生
面向大模型上线前验证流程的自动化任务平台，支持模型拉取、量化、评测、压测、推理服务启动、日志追踪和结果保存。平台将约 1 小时的手动验证流程压缩至 30 分钟内自动完成，并支持接入其他长时间运行脚本任务。
- 基于 Ray Actor 实现 vLLM Worker、RESTful API 和自定义脚本执行器的调度，支持服务启动检测、ready 检测、超时处理、异常日志收集和自动资源回收。
- 设计 Job–Pipeline–Node 任务编排模型，支持多步骤任务依赖调度、状态流转和结果收集，实现多业务流水线灵活编排与代码复用，降低新功能开发成本，提升平台扩展性与维护效率。
- 支持 evaluation、benchmark、quantization 等任务类型接入，将不同长时间脚本任务封装为统一 Task，实现任务状态追踪、错误日志返回和结果沉淀。
- 实现 GPU、集群节点、目录等资源池管理，支持资源申请、批量申请失败回滚和任务结束后自动释放，避免多任务并发下的资源冲突。