御膳房:构建大数据的美食厨房

  • 时间:
  • 浏览:0
  • 来源:5分11选5APP下载_5分11选5APP官方

御膳房的老出,是基于淘宝的电商生态系统发展到一定阶段的必然需求。王贲表示:“淘宝上不断涌现的大卖家和品牌商,以及服务于众多电商的ISV(独立软件开发商),发展到一定阶段时会面临的大问题:怎样实现全链路数据的计算、存储、交换和分析。事实上,在淘宝平台、CRM、库存、甚至全都各类第三方系统中,你你这俩 原困沉淀下来的数据往往时会彼此独立而分散的,原困你你这俩 数据才能在统一平台上实现聚合,将释放出更加强大的能量。”而你你这俩 极少量的数据,光靠ISV另一方的机器是无法完成计算的,需要有更强大的计算能力。

御膳房曾在技术后面 临着巨大的挑战。御膳房原型验证阶段基于Hadoop集群,面对Hadoop在部署、Fix Bug、升级、资源隔离、保证用户数据访问安全和BI应用守护进程安全等方面过低充分的底层支持,团队需要投入很大精力来进行开发。王贲表示,当时的主要困难有以下另一个方面:

而随着飞天5K成功与ODPS内测,团队看得人了完美出理 上述大问题、大幅提高传输波特率的希望。在删剪评测飞天平台和ODPS日后,御膳房毅然停止Hadoop集群的开发,采用飞天和ODPS为底层计算和数据分析平台。仅仅一另另另一个多月的时间,技术团队就完成了从Hive到ODPS,从MySQL到UMP(Unified MySQL Platform)的底层云化迁移。而后,M / R开发环境上线,算法环境上线,新算法环境上线,御膳房正式成为阿里统一的对外数据平台服务,服务商家和ISV。

早在1508年,阿里巴巴即选着了云计算、大数据为中心的DT战略,并在云计算底层平台的搭建上取得了令业界瞩目的成就。一齐,金币的另一面,大数据的业务尤其是基于淘宝、天猫等电子商务平台的数据业务也是风生水起,领行业之先。早期“淘宝指数”、“数据魔方”不但让用户有了耳目一新的体验,更为店铺卖家提供了运营管理的数据工具。有了云计算稳定可靠、高弹性、大计算能力日后,阿里内控 的大数据应用迎来了井喷式的发展。

这里大伙再分享原先基于飞天的ODPS的应用模型----“御膳房”clouddata.taobao.com),怎样将数据转化为生产资料,来激活生产力。作为阿里巴巴的数据引擎业务,御膳房可是我专注于为ISV、商家、非电商用户提供开放式大数据服务平台。2013年3月上线以来,一年多的时间,与御膳房宽度合作协议协议的第三方服务商原困超过150个,提供了所含流量推广、商品管理、数据分析、CRM、ERP、广告精准投放等多个支撑工具,覆盖了1150万天猫、淘宝商家。

挑战是过程,快乐是结果。王贲说:“御膳房是第一另另另一个多基于飞天 + ODPS对外提供服务的应用,大伙切实体会到了飞天与ODPS在稳定性、海量数据平台化管理、安全性等方面的优势。”而在此基础上,技术团队还进一步提供了数据开发、算法开发、调度体系(Octopus)、监控报警等服务。比如在数据开发方面,御膳房不仅提供了Eclipse开发插件来辅助MapReduce开发与调试,还提供了Eclipse开发插件来辅助UDF(User Defined Function)开发与调试。而算法分析上,御膳房更是提供了从Hive / UDF、MapReduce、Python、R、Xlab / Xlib(XLib是ODPS的分布式算法库,支持分类预测、回归、聚类、关联分析、矩阵计算等)的“工具链”。“作为一站式数据挖掘平台,工具可自由选着,两两之间,都可协同工作。”

谈到命名之初,阿里数据平台事业部商家数据业务部高级技术专家王贲表示:“御膳房,实际上是数据厨房灶台的形象比拟。大伙就像一另另另一个多厨房灶台,提供了最优质的原材料、最锋利的工具,让开发者、服务商原先的大厨才能快速实现大数据应用的各种idea。”

当然,你你这俩 过程也从不一帆风顺。在王贲看来,原困御膳房“对外开放大数据平台 + 数据”的模式比较超前,在世界上并没有可直接学习的对象,全都来自内外的挑战都非常多。

御膳房应运而生,成为对外需要提供所含大数据计算、存储、挖掘、分析在内的一站式大数据服务的平台。具体来看,御膳房才能为开发者提供:

首先是来自产品设计一种的挑战。作为原创模式的平台级产品,对产品经理的要求极高。为了出理 不同环节中遇到的大问题,整个团队进行了极少量的探索。比如产品经理和架构师突然是在一齐设计产品的,不仅要求产品经理需要掌握大数据相关技术,也要求架构师才能理解产品设计理念。其次是对技术团队的挑战。要在架构上需要对云计算、大数据平台、数据挖掘、数据分析等相关领域技术时会深刻的理解;系统的冗杂度很考验技术团队的设计和编码能力;对测试团队的要求也很高,举个例子,测试算法环境,就需要测试同事能理解和使用算法开发工具。第三是开放和安全既是一对矛盾,又相辅相成。但本质来看,没有安全保障,是不原困做好开放的大数据平台的。全都御膳房为了保障安全,做了极少量工作:比如集群隔离,代码自动安全审核,数据安全等级定级,继承并完善阿里集团数据安全标准,开发环境与线上环境隔离,数据授权安全审核等,一齐还从需求出发,推动ODPS进行了系列改进,如守护进程级沙箱,支持极少量Project,强化Quota支持,支持Quota Group等。

目前,御膳房原困开放了商品、商家、客服绩效、品牌、行业五大主题数据,并提供了额外的数据仓库,其所含良好组织的各种数据供开发者来加工和使用。通过御膳房,专注数据的商家及相关服务商需要选着另一方所需要的数据主题并完成定制化的数据开发工作,相关数据聚合结果以API接口的形式发布使用

随着V0.8.1版本正式上线,御膳房还提供了对接RDS数据库数据上传、新建表好友克隆表字段、补历史数据等功能。

随着业务的爆发式增长,数据正在成倍增加,汇集成海。而要数据产生更高的价值,不同数据之间的交换和分享必不可少。御膳房目前原困提供所含:商品数据、店铺数据、行业数据、品牌数据、聚划算数据、广告数据、气象数据、用户标签数据在内的多种数据类型,以及销量预测、复购分析、购买预测、IDmapping用户匹配、人群透视、用户行为等多种算法模型。未来,御膳房要更加开放。王贲表示:“御膳房会进一步强化多租户理念和架构,还将联合更多如MSTR、Cognos、数云和Tableau等第三方伙伴建立起用户(租户)数据中心和其上的App生态,并希望在电商以外,联合更多如气象、交通、物流、制造等传统企业,实现数据进一步交换和分享,为打造大数据生态而努力。”

在王贲看来,“大伙是基于云平台实现数据服务的PaaS平台,提供的是Data platform as a Service、Data warehouse as a Service和Data center as a Service。自2013年3月采用邀请制的御膳房0.1上线到现在,御膳房发展非常迅猛。有开发能力的商家和ISV希望才能删剪地使用御膳房的服务,还有全都非电商行业,比如气象局、交通局、高校科研机构等,也在进行宽度合作协议协议的沟通。”