
PROJECT / 01
InferOps
大模型推理任务自动化调度与评测平台
面向大模型推理上线流程的自动化任务平台,支持模型服务启动、评测、压测、量化与上线前验证,降低推理服务部署和性能验证的工程成本。
- Python
- FastAPI
- Ray
- vLLM
- MySQL
- Vue 3
你好,我是杨淑仪。专注后端开发与 AI 基础设施,喜欢把模型、任务流和工程细节组织成真正可用、也值得长期维护的系统。
ENGINEERING, END TO END.
Selected work / 精选项目

InferOps
面向大模型推理上线流程的自动化任务平台,支持模型服务启动、评测、压测、量化与上线前验证,降低推理服务部署和性能验证的工程成本。

Edge Flow infra
面向边缘设备提供一套通用的业务节点接入与调度机制,让新的模型节点或设备控制节点能够以插件化方式快速接入,并通过统一 API 对外提供服务。

LLM Voice Flow
基于 RK3576 NPU 和 C++ 构建的端侧离线语音交互系统,实现从语音识别、LLM 推理到语音合成的低延迟闭环。
How I build / 工程能力
清晰的边界、稳定的链路和可复用的结构,是我在每个项目里反复打磨的部分。
从接口边界、业务流程到数据存储与服务联调,把需求落实为稳定、清晰、可维护的后端系统。
围绕模型上线前的服务启动、量化、评测和压测,构建可编排、可追踪的自动化任务流程。
处理异构节点接入、任务路由与混合通信,让模型能力在边缘设备上真正形成完整闭环。
把零散问题拆解成明确模块,完成设计、开发、调试与运行验证,并沉淀可复用的解决经验。