2020年“新基建”成为我国经济社会发展的新浪潮。在“新基建”浪潮下，人工智能场景落地与应用的速度不断被刷新。然而在人工智能落地的最后一环：应用与部署环节由于涉及到由数据模型到实践应用的跨越，成为人工智能技术商业化的难题。对此，人工智能独角兽企业探智立方通过其自主研发的DarwinML Inference流式推理引擎平台，实现真正意义上的人工智能模型的全生命周期管理，使得开发者更加聚焦人工智能给业务带来的创新。
什么是流式推理引擎
推理引擎是将人工智能模型转化为生产力的关键部件。它衔接数据科学家、终端用户和运营商，在典型的商业场景中，运营商将数据科学家研究的人工智能模型，部署于计算平台，并引导终端用户的请求在计算平台各模型间流转，最终形成客户期望的响应，并在其终端展示。
流式推理引擎是推理引擎的一种工作形态，他将人工智能模型及相关的周边处理，以工作流的方式组织起来，对外提供更能适配客户业务需求的推理服务。
它工作的时候，数据从终端客户或设备开始，在推理引擎的驱动下，按照既定的工作流业务逻辑，在各智能和非智能处理节点间流动，最终以业务要求的形态流出平台，被客户系统消费。
流式推理引擎工作目标
在这个端到端的典型场景中，关联的各方对于推理引擎的特性、技术、指标等有不同的考量。
数据科学家提供基础的人工智能模型，由于人工智能技术的飞速发展，科学家们多会广泛尝试各种人工智能底层框架和第三方算法库，以期望最大限度借力技术的发展，展现自己模型的特性。对于协助其能力变现的运营商所采用的推理引擎，当然期望其对底层人工智能框架和算法库的支持有足够的灵活性，减少模型移植的代价，保持甚至提高模型的性能，并自行解决商业化场景中的工程问题。
运营商运维数据科学家的人工智能模型，服务于终端客户以实现利润最大化。他们更多会倾向于用稳定的技术、设备，用较少的硬件和人力资源，实现其商业化的服务目标。其对推理引擎的选择，在迎合数据科学家需求、满足终端用户功能和服务质量要求的同时，会平衡考虑资源、人力的初期投入及长期维护成本以维持其竞争力。
终端用户从运营商处消费人工智能模型，寻求服务接入的便利性，和最小的代价，实现其消费要求。
主流流式推理引擎分析
DarwinML Inference：DarwinML Inference流式推理引擎是人工智能独角兽公司探智立方为人工智能使能平台量身定做的商业化产品。
MetaFlow：MetaFlow是Netflix开源的一款旨在帮助数据科学家开发管理其项目的Python库。他侧重于减轻数据科学家在开发、管理数据科学项目时，对非数据科学类其他工程领域的技能要求与投入。使之能关注于数据科学领域。
AirFlow：AirFlow是Airbnb开源的一款工作流系统，它基础功能简单，通过插件的形式支持各种语言和执行端。
MLFlow：MLFlow是有Databricks开源的一款机器学习生命周期管理平台，推理服务是其功能之一。
综合对比分析：
特性DarwinML InferenceMetaFlowAirFlowMLFlow
DAG工作流√√√
DAG数据流√
AI框架ML集成√√√（plugin）√
AI框架DL集成√√√（plugin）√
单机部署√√√√
集群部署√√（plugin）√
云端部署√√ (AWS)√（plugin）√
自动批量(Batch)√
资源亲和(Affinity)√
RESTFul API接入√√√
RPC API接入√√
Client SDK接入√√√√
以上对比的4个软件，在商用流式推理引擎方面，探智立方DarwinML Inference仅通过内置功能，就能满足专业性、工作流、数据流、弹性部署等这些关键需求。尤其是数据流功能，其他对比软件都不具备，需要数据科学家在建模阶段和运营商部署阶段密切配合。
对于数据科学家而言，它的接口抽象，贴近其思维。不限定底层人工智能框架，给其足够的自由度。对于复杂的模型，支持DAG形式的工作流和数据流同图定义，一目了然且方便后续运营商部署和弹性伸缩。
对于运营商而言，它采用成熟软件栈和微服务架构，从单机到超大规模集群弹性伸缩。它不挑硬件，支持从嵌入式设备、台式机、大型服务器、云端虚拟机和容器乃至商业集群的各种新老硬件平台。它支持对接模型编译、小型化等优化加速技术，提升模型的适应度，提高单位资源的产出。自动批量功能能充分发挥人工智能模型批量计算和底层硬件向量加速的功能，即成倍提升系统吞吐量，又不增加数据科学家和运营商的成本。
对于用户而言，它提供丰富的接入接口，包括通用RESTful到高性能的RPC，支持从Python和Java的SDK。对于低延迟的场景，能提供毫秒级的相应。对于高并发的场景，支持线性在线自动扩容。
探智立方DarwinML实现了人工智能模型的全生命周期管理，能够无缝与生产系统对接，并对生产模型实时优化，旨在成为当今 “最好用”的人工智能模型设计平台，助力各类型企业人工智能技术的应用落地，相当令人期待。
