横空出世- UCloud “文曲” AI as Service解决方案 | U刻
  • 横空出世- UCloud “文曲” AI as Service解决方案

    栏目:技术分享

    概述

    人工智能技术已经逐渐渗透到生活中的方方面面,从大名鼎鼎的AlphaGo,再到身边的广告展示、新闻智能推荐等,人工智能技术已经被广泛运用于各行各业。近年来,人工智能技术在图像(物体识别、人脸识别等)、自然语言(语音识别、翻译、对话机器人)、智能医疗、智能推荐(广告、新闻、视频)等领域取得了飞速的发展。同时人工智能技术对计算资源的需求也快速增加。

    构建人工智能服务,通常包括三个步骤:大数据收集与处理、AI模型训练、AI模型在线服务。大数据的收集与处理需要投入大量计算、存储和网络资源。AI模型训练则需要充足的计算能力,尤其是浮点计算能力。AI模型在线服务作为构建人工智能服务的最后一步,由于是面向终端用户的一个环节,因此不仅对计算资源的数量有一定要求、同时对运维、管理等诸多方面都提出了非常高的要求。

    AI业务面临的挑战

    由于大数据收集与处理以及模型训练通常属于离线计算类型,因此可以相对容易的预估所需的资源数量,并使用成熟的计算框架来完成相应的数据运算。例如在数据处理过程中,可以通过采购一定数量的云主机或物理机来搭建一个Spark集群以完成数据的预处理。又例如在模型训练过程中,可以通过采购一定数量的GPU云主机或物理机搭建TensorFlow深度学习框架来完成AI模型的训练。

    相反的,由于AI服务属于在线服务类型,其业务模式面临着诸多挑战:

    • 成本AI在线服务业务的成本随着业务量的增长而增长。如何提高资源的使用效率,降低单位请求服务的成本,成为非常重要的一个挑战。
    • 可靠性AI在线服务业务是面向终端客户的业务,因此任何环节导致的服务不可用都将是灾难性的。
    • 弹性AI在线服务业务是面向终端客户的业务,因此业务通常存在周期性,并可能出现业务量激增等特殊情况,如何保障整个服务集群的资源弹性非常重要:在业务量增加时,可以从容的完成服务集群的扩容;在业务量减少时,可以自动完成资源缩容。
    • 易用性作为一项在线服务业务,任务的发布、更新的效率决定了业务的迭代效率;灰度发布、业务回滚等功能决定了业务的可靠性。如果没有一个简单易用的系统来完成这些任务管理的工作,对于AI在线服务研发和运维人员而言其产品研发和发布的周期将大大增长。

    以上四个挑战对于架构师和研发人员,尤其是AI算法研发人员来说异常严峻,研发人员很可能手握非常好的AI业务模型和解决方案,却被AI在线服务业务部署、运营过程中的重重困难给打败。 为了帮助客户解决AI在线服务的四个关键问题,UCloud推出了AI as a Service平台,该平台基于UCloud丰富的计算资源和丰富的分布式系统实践经验,提供高性价比、高可靠性、高弹性、高易用性的AI在线服务平台,将客户从繁杂的平台系统开发和运维工作中解放出来。

    让AI成为更纯粹的AI

    UCloud AI as a Service(UCloud AaaS)平台的研发宗旨就是让AI算法工程师成为更纯粹的算法工程师,把一切AI服务化过程中所面临的工程问题和运维问题都抛给UCloud AaaS平台来解决。 UCloud AaaS平台作为面向AI在线inference服务的大规模分布式计算平台,其本质为一个面向AI Service业务模型深度定制的PaaS平台。用户可以基于该PaaS平台轻松部署自己的AI SaaS服务。同时UCloud AaaS平台将会兼容各类主流AI框架,如TensorFlow、Keras、Caffe、MXNet等,AI算法工程师可以根据个人喜好和算法要求灵活选择AI框架。

    在UCloud AaaS平台上部署一个AI在线服务业务对于一个AI算法工程师来说非常简单,只包含以下三个步骤:

    1. 准备好模型inference的代码
    2. 准备好模型文件
    3. 准备好inference执行过程中所需的依赖包

    然后就可以使用UCloud AaaS提供的管理工具轻松部署AI在线服务业务了。

    十万核级别的计算能力 灵活易用

    使用UCloud AaaS平台部署AI在线服务,用户可以轻松驾驭上万核级别的计算集群,与传统自建服务架构相比,使用UCloud AaaS平台具有以下优势:

    UCloud AaaS平台适用于多种AI业务场景,可以协助各类AI业务实现快速部署于应用。

    下一代AI云计算平台

    UCloud AI as a Service平台使得AI产品研发工程师可以更专注于AI业务和算法本身,而将AI服务化过程中的所面临的工程问题和运维问题都抛给UCloud AaaS平台来解决。这给AI产品的研发和运营带来了新的思路。

    UCloud作为国内最领先的云计算服务商,将深入研究AI as a Service平台,提供更丰富的AI框架接口(目前支持TensorFlow,将逐步支持Keras、Caffe、MXNet等框架),并持续提升系统的计算能力和运维能力帮助客户提升资源利用率,提高开发效率,减少运营成本。

    8