
InferOps
大模型推理任务自动化调度与评测平台
面向大模型推理上线流程的自动化任务平台,支持模型服务启动、评测、压测、量化与上线前验证,降低推理服务部署和性能验证的工程成本。
- Python
- FastAPI
- Ray
- vLLM
- MySQL
- Vue 3
How I Build
后端接口、业务流程、数据处理与服务联调,关注接口边界、稳定性和可维护性。
将零散需求整理为清晰模块,完成设计、开发、调试到运行验证的完整闭环。
重视模块职责和复用设计,避免功能堆叠,让系统更容易扩展和维护。
快速学习新框架和新业务,独立排查问题,并沉淀可复用的解决经验。
Contact