Mobvista发布一站式全链路机器学习平台MindAlpha_奈哲装饰网
Mobvista发布一站式全链路机器学习平台MindAlpha
分类:新酷科技 热度:

10月16日,Mobvista发布一站式全链路机器学习平台MindAlpha。Mobvista是全球领先的技术平台,为全球应用开发者提供移动广告及移动数据分析服务,目前已建立起海外覆盖FB/Google之外超3万个独立媒体的流量矩阵,广告+统计SDK覆盖3.3亿日独立设备;涉及从移动应用安装前到安装后全生命周期用户行为的海量数据覆盖。

MindAlpha平台功能覆盖了广告、搜索、推荐等互联网核心业务对机器学习平台的各方面需求,包括大规模实时数据流和高效特征工程框架,百亿特征、千亿样本的大规模复杂模型训练框架,以及海量请求的高性能低延迟的在线预测框架。

MindAlpha平台构建于超大规模分布式计算平台之上,包含了与开源生态兼容的云端部署的分布式集群,通过自主研发的多种计算、服务框架,构建了大数据计算服务、分布式机器学习服务以及在线实时预测、评估以及实时数据服务。整体的计算平台架构如下图所示:

1.jpg

其中MindAlpha提供的一站式机器学习服务是整个计算平台最为核心的功能,MindAlpha具体的架构如下图所示:

2.jpg

MindAlpha平台提供的一站式机器学习服务完整覆盖了:数据流接入、特征生成、模型训练、线上预测、在线评估、在线学习的全周期流程。MindAlpha集成了多个大规模离散特征在线学习算法,经历了每天百亿PV、十亿UV量级的实际业务考验,开箱即用。同时也能够支持快速算法原型的开发验证,以及模型生产部署的无缝对接。

MindAlpha平台采用了Cloud Native设计,通过强大的资源弹性伸缩功能保证了大规模的计算能力和成本的平衡,能够方便企业进行公、私有云的快速弹性部署,充分体现了AI as a Service的强大服务能力。下面分别介绍MindAlpha一站式机器学习平台的核心重点模块。

一、大规模高效的数据流和特征工程框架

数据流和特征工程是算法训练的基础。高效的数据回流能力保证了模型训练样本生成的时效性,百亿规模的特征工程生成能力保证了样本对真实问题空间的匹配程度,从而进一步保证模型的准确度。

MindAlpha平台的数据流特征工程主要有以下技术特点:

1)在线回流特征和离线特征相结合。MindAlpha平台支持大量不同类型的在线特征,包括用户的各类实时行为统计特征等。这部分特征在离线没有对应数据,通过排序服务将这批特征回流到离线平台。而另一部分是离线特征表,包括DMP平台提供的大量设备维度特征等。

2)大维度表抽取优化。在线上数据回流后,进行多个维度表特征抽取时,往往容易遇到的问题是离线维度表很大,而回流数据只需要取很小一部分。但是传统的MapReduce方法仍然需要扫描大维度表,导致Shuffle和Join过程非常耗时。我们通过创新地综合运用In Memory Hash和小表Broadcast等方式,使得特征抽取的流程大幅加快,能够在10分钟内完成十亿量级的日志表与百亿量级的特征表的Join操作。

3)原始特征列式存储。算法模型的调优通常需要频繁实验不同的(原始)特征,但是不同的实验往往只有小部分特征不同。为每组实验都重新生成一份样本,会造成较大的空间浪费,同时生成多份样本也会带来较大的资源开销。我们设计了全新的列式存储方案,使得原始特征分为不同的列来存储,在训练时可以指定所需的特征列。这样所有不同的实验都可以共享同一份样本存储,只需要选择不同的特征列即可。通过这样的优化,使得小时级的样本生成只需要一份,同时回溯多天的历史数据补充特征也只需要增加相关的列即可。

二、超大规模分布式训练框架

通过数据流和特征工程之后,接下来进入到模型训练的环节。对于在线广告领域,特征规模、样本规模是算法效果提升的重要基础,对于近期比较领先的Entire Space Multitask Model (ESMM)的学习范式等,模型空间还会大幅膨胀。因此,一个能够支持超大规模特征和样本的分布式机器学习训练框架是AI平台的核心组成部分。我们的分布式机器学习训练框架采用了底层分布式框架和上层算法框架分离的架构,主要原因是不同的算法在优化迭代的模式上有很多区别,同时算法与业务、特征等也有一定的耦合。单纯引入TensorFlow等DL框架并不能满足多样化的算法开发需求。具体来说整体架构可以分为两层:

1)第一层是一个大规模的Parameter Server框架。从架构上看和经典的PS架构类似。不同点是我们提供了通用的批量KV存取功能,并能够方便上层灵活定制Server端的存储对象格式。PS架构的横向扩展性使得我们能够高效地支撑百亿特征规模和千亿样本规模。

上一篇:为定点扶贫插上科技的翅膀 下一篇:践行全心全意为人民服务办学宗旨 写好新时代高校定点扶贫奋进之笔
猜你喜欢
各种观点
热门排行
精彩图文