横空出世- UCloud “文曲” AI as Service解决方案

概述

人工智能技术已经逐渐渗透到生活中的方方面面，从大名鼎鼎的AlphaGo，再到身边的广告展示、新闻智能推荐等，人工智能技术已经被广泛运用于各行各业。近年来，人工智能技术在图像（物体识别、人脸识别等）、自然语言（语音识别、翻译、对话机器人）、智能医疗、智能推荐（广告、新闻、视频）等领域取得了飞速的发展。同时人工智能技术对计算资源的需求也快速增加。
构建人工智能服务，通常包括三个步骤：大数据收集与处理、AI模型训练、AI模型在线服务。大数据的收集与处理需要投入大量计算、存储和网络资源。AI模型训练则需要充足的计算能力，尤其是浮点计算能力。AI模型在线服务作为构建人工智能服务的最后一步，由于是面向终端用户的一个环节，因此不仅对计算资源的数量有一定要求、同时对运维、管理等诸多方面都提出了非常高的要求。

AI业务面临的挑战

由于大数据收集与处理以及模型训练通常属于离线计算类型，因此可以相对容易的预估所需的资源数量，并使用成熟的计算框架来完成相应的数据运算。例如在数据处理过程中，可以通过采购一定数量的云主机或物理机来搭建一个Spark集群以完成数据的预处理。又例如在模型训练过程中，可以通过采购一定数量的GPU云主机或物理机搭建TensorFlow深度学习框架来完成AI模型的训练。
相反的，由于AI服务属于在线服务类型，其业务模式面临着诸多挑战：

• 成本AI在线服务业务的成本随着业务量的增长而增长。如何提高资源的使用效率，降低单位请求服务的成本，成为非常重要的一个挑战。
• 可靠性AI在线服务业务是面向终端客户的业务，因此任何环节导致的服务不可用都将是灾难性的。
• 弹性AI在线服务业务是面向终端客户的业务，因此业务通常存在周期性，并可能出现业务量激增等特殊情况，如何保障整个服务集群的资源弹性非常重要：在业务量增加时，可以从容的完成服务集群的扩容；在业务量减少时，可以自动完成资源缩容。
• 易用性作为一项在线服务业务，任务的发布、更新的效率决定了业务的迭代效率；灰度发布、业务回滚等功能决定了业务的可靠性。如果没有一个简单易用的系统来完成这些任务管理的工作，对于AI在线服务研发和运维人员而言其产品研发和发布的周期将大大增长。

以上四个挑战对于架构师和研发人员，尤其是AI算法研发人员来说异常严峻，研发人员很可能手握非常好的AI业务模型和解决方案，却被AI在线服务业务部署、运营过程中的重重困难给打败。 为了帮助客户解决AI在线服务的四个关键问题，UCloud推出了AI as a Service平台，该平台基于UCloud丰富的计算资源和丰富的分布式系统实践经验，提供高性价比、高可靠性、高弹性、高易用性的AI在线服务平台，将客户从繁杂的平台系统开发和运维工作中解放出来。

让AI成为更纯粹的AI

UCloud AI as a Service（UCloud AaaS）平台的研发宗旨就是让AI算法工程师成为更纯粹的算法工程师，把一切AI服务化过程中所面临的工程问题和运维问题都抛给UCloud AaaS平台来解决。 UCloud AaaS平台作为面向AI在线inference服务的大规模分布式计算平台，其本质为一个面向AI Service业务模型深度定制的PaaS平台。用户可以基于该PaaS平台轻松部署自己的AI SaaS服务。同时UCloud AaaS平台将会兼容各类主流AI框架，如TensorFlow、Keras、Caffe、MXNet等，AI算法工程师可以根据个人喜好和算法要求灵活选择AI框架。
在UCloud AaaS平台上部署一个AI在线服务业务对于一个AI算法工程师来说非常简单，只包含以下三个步骤：

1. 准备好模型inference的代码
2. 准备好模型文件
3. 准备好inference执行过程中所需的依赖包

然后就可以使用UCloud AaaS提供的管理工具轻松部署AI在线服务业务了。

十万核级别的计算能力 灵活易用

使用UCloud AaaS平台部署AI在线服务，用户可以轻松驾驭上万核级别的计算集群，与传统自建服务架构相比，使用UCloud AaaS平台具有以下优势：

UCloud AaaS平台适用于多种AI业务场景，可以协助各类AI业务实现快速部署于应用。

下一代AI云计算平台

UCloud AI as a Service平台使得AI产品研发工程师可以更专注于AI业务和算法本身，而将AI服务化过程中的所面临的工程问题和运维问题都抛给UCloud AaaS平台来解决。这给AI产品的研发和运营带来了新的思路。
UCloud作为国内知名的云计算服务商，将深入研究AI as a Service平台，提供更丰富的AI框架接口（目前支持TensorFlow，将逐步支持Keras、Caffe、MXNet等框架），并持续提升系统的计算能力和运维能力帮助客户提升资源利用率，提高开发效率，减少运营成本。