PRODUCT & TECHNOLOGY模型进入端侧设备的工程链条 · 流程示意
端侧计算与模型适配
把模型能力放到设备上,兼顾任务效果、运行资源和产品维护。
通用计算与AI加速配合
CPU承担业务逻辑、接口和任务组织;适配的AI加速单元处理模型计算。视频接入、预处理、推理与规则之间需要协调,不能只用TOPS数字判断完整任务容量。
量化与转换需要效果复核
压缩模型与调整精度可以影响资源占用,也可能改变输出。转换后需要在代表输入上比较结果,并观察实际硬件运行情况。
并发容量由任务组合决定
不同模型、输入分辨率、分析频率与前后处理会形成不同负载。选型时围绕实际组合评测,不把视频接入数量直接当成所有算法并发数量。
围绕交付硬件确定能力
旧资料涉及不同算力与处理器描述,需要与BOM和板卡版本对应。型号明确后再确认内存、接口、散热与安装条件,形成可维护的交付配置。