先说说传统BI,其做法是IT人员事先根据分析需求来进行建模以及做二次表,提前汇总好数据,业务人员在前端查看分析结果报表,这带来的最大问题就是:
1.业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模时预先设定好,不能更改,比如定好了是求和或求平均数,想改成求方差必须回去修改模型;
2.分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较久。
而敏捷BI是采取轻量建模、N个视图的方法,不建二次表,数据连进来直接可以进行分析,并且业务人员可以实时调整分析的维度和度量的计算方式,极大增加灵活性,真正做到和数据对话。技术上理解,就是采用了列存储,分布式计算,比如像FineBI,就是通过动态生成的位图索引技术来处理字符串等类型的数据,通过NIO内存映射文件技术来快速处理数字类型的数据,关键是自动建模,处理起来快。
敏捷BI,像国内的话,以FineBI为代表,自动建模,所有维度,所有指标,索引关联都在一开始就建立好,所以在做分析的时候可以方便创建维度,查看分析的时候也可以方便查看切换维度。
传统BI
在对大数据进行分析的过程中,传统BI的做法是,IT人员事先根据分析需求来进行建模(以及做二次表或打Cube),提前汇总好数据,业务人员在前端查看分析结果报表。这种做法很成熟,持续了很多年,但是也存在着一些问题。
业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模时预先设定好,不能更改,比如定好了是求和或求平均数,想改成求方差必须回去修改模型。2.分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较久。
造成这些的问题的本质原因是,过去的技术架构针对海量数据的计算能力不足,需通过建模、二次表、Cube提前进行数据运算汇总。
敏捷BI
随着技术的发展和演进,BI领域已经迎来了新一代敏捷BI的革新。以BI工具FineBI为例:基于大数据的处理技术,其对TB-PB级的数据可实现秒级响应。敏捷BI的数据展现是起点,而不是终点。看到了数据,能交互式分析,能深入向下挖掘,能发现问题找到答案。敏捷BI的分析报告能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门,这样会严重增加IT部门的工作负担。敏捷BI的实施和操作相比传统BI都要来得更为简单,可以说是以业务人员为使用对象的BI。分析报告需求经常需要数据层的改动,需要IT部门去改进数据层和业务层,传统BI平台需要一两个月去梳理模型。敏捷BI无需事先建模,可在分析过程中灵活调整分析维度和报表展现,需求变更可以在一天之内响应,提升企业的洞察力决策力。与传统BI的重量建模、统一视图不同,敏捷BI采取轻量建模、N个视图的方法,数据连进来直接可以进行分析,并且业务人员可以实时调整分析的维度和度量的计算方式,极大增加灵活性,真正做到和数据对话。想必大家会有一个疑问,既然有这么便捷的方式,为何传统BI不采用这种架构呢?正如上文所说,传统的技术架构没有引入现在的大数据技术,面对海量数据无法在用户点击的几秒内就展现结果,因此必须通过建模提前把数据汇总好,才能保证分析报表展现时的速度。实现敏捷BI的大前提是采用新架构处理数据的性能有了几十倍提升,涉及的技术包括分布式计算、内存计算、列存储、库内计算等。因此,敏捷BI可以通过更低的成本、更短的上线周期,快速让企业洞察到数据的含义和价值。所以,敏捷BI相比于传统BI功能强大在某些方面确实属实。
像国内FineBI和永洪敏捷BI也受到国内很多企业的青睐,可以去网上了解了解
国外BI:SAS BI、IBM的cognos、Oracle BIEE、SAP BO、Power-BI、Informatica、Arcplan、QlikView、Tableau等等;
国内BI:BDP商业数据平台、smartbi、用友华表、帆软、润乾报表,永洪科技等。
国外BI
1、IBM Cognos
IBM提供了全面的商业智能解决方案,包括前端工具、在线分析处理工具、数据挖掘工具、企业数据仓库、数据仓库管理器和数据预处理工具等。结合行业用户的业务需要,IBM还向用户提供面向政府、电力、金融、电信、石油、医疗行业的商业智能解决方案。IBM Cognos商业智能解决方案基于已经验证的技术平台而构建的,旨在针对最广泛的部署进行无缝升级和经济有效的扩展,能满足各类型用户的不同信息需求。传统BI工具中最被广泛使用的,已被IBM收购。拥有强大的数据库平台、在数据管理、数据整合以及中间件领域专业功底深厚。偏操作型,手工建模,一旦需求变化需要 重新建模,学习要求较高。
(信息来自百度百科)
2、Qracle BIEE
BIEE 现在oracle下是最强力的bi分析工具,最早进入中国,支持简单方便的集群,前端及中后端设计功能强大,前端开发灵活易用,只要开发公司投入足够强力的技术人员,工程期规划合理,基本上可以实现从上层到中下层的所有的需求,界面还算美观,不过弱点就是说做一些中国式的报表工量较大,还有一些不足的地方,但是oracle不断的发展和升级,产品正在变得越来越好。其他方面是实施建议找一个真的很负责任的公司和实施团队实施 。全看实施团队的技术能力。
3、SAP BO
SAP BO公司收购的一款BI工具,产品运作模式是结合SAP的ERP系统,所以整合其他数据库或系统并不占优势,属于重型BI,使用要求较高,升级困难。无功无过,在BI产品不具特色,同SAP一样,与Oracle的产品线紧密绑在一起。貌似国外厂商都是捆绑型卖整体方案。
4、Qlikview
Qlikview的主要特点是开发和使用简单,但是和Tableau 、FineBI相比,操作性能差一些,总的来说,它可以让自助数据分析和所有信息都有一个灵活的直观的展现。Qlikview通过AQL架构提供灵活、强大的分析能力时,AQL架构改变了需要OLAP立方体的需求。Qlikview的缺陷也很明显,受限于用户数(也就是说价格)和设计报表的复杂程度,只能用于少数几个管理层人员,广大的中层干部的报表问题其实没有解决。
5、Tableau
定位是一款数据可视化工具,可视化功能很强大,对计算机的硬件要求较高,部署较复杂,目前移动端只支持IOS系统。操作简单,用户只需要简单配置,拖拖拽拽,就可以做出数据分析。整体来看,工具挺不错的,成本低,可以快速上手;功能挺强大的,可视化效果真心不错,也有数据钻取、动态的功能效果,Tableau虽然具备强悍的分析功能,但是数据抓取功能很弱,数据处理能力差,需要实现准备好数据,所以可以认为是面向数据分析师的前端工具。另外Tabluea真心不便宜,最便宜的一年要999刀。
国内BI
1、BDP商业数据平台
BDP商业数据平台旨在帮助企业快速完成多数据整合,建立统一数据口径,支持自助式数据准备(ETL),并提供灵活、易用、高效可视化探索式分析能力,帮助企业构建贴合自身业务的企业洞察,并将数据决策快速覆盖各层员工及应用场景。
BDP可以灵活接入与同步多种数据源,包括各类数据库连接、OpenAPI以及各种SaaS平台API,满足企业多种多样的业务场景、亿行数据秒反应,快速实现数据清洗、整合、加载,通过拖拽即可可视化分析,支持近30种图表类型和12种自带配色方案,让数据更加直观、美观。
BDP商业数据平台为企业提供的核心价值在于用直观、多维、实时的方式展示和分析数据,并可在APP实时查看和分享,全面激活企业内部数据,用数据驱动业绩,适应快速变化的市场。海致帮助各类型企业迅速搭建贴合业务的数据分析平台,目前服务的客户涵盖互联网、零售快消、物流、O2O、医疗/教育SEM等多个行业。
(信息来自BDP官网)
2、FineBI
FineBI是几年前帆软公司推出的,在国内口碑和发展还行。通过傻瓜式操作,用户只需在Dashboard中简单拖拽操作,便能制作出丰富多样的数据可视化信息,进行数据钻取、联动和过滤等操作,自由分析数据。FineBI面向企业IT部门、业务人员,提供企业级管控下的业务人员自助式数据分析,向下帮助IT做好数据管控,向上充分利用底层数据,支撑前端业务数据应用。数据分析功能全面实用,但中规中矩,没有那么多突出亮点。帆软旗下的自助性BI产品,轻量化的BI工具,部署方便,走多维分析方向。后期采用jar包升级换代,维护方便,最具性价比。
3、永洪BI
敏捷BI软件,产品稳定性较高。利用sql处理数据,不支持程序接口,实施交由第三方外包。永洪的技术主要分为大数据和可视化两点。在大数据方面,通过列存储、分布式计算、内存计算、分布式通讯等技术,永洪自主研发了高性能的大数据计算引擎,作为分析用的数据集市,可实现百亿级数据在秒级时间内完成计算。在可视化方面,永洪将复杂的多维分析功能隐藏在背后,在前端通过点击和拖拽的简单可视化操作实现各种复杂的分析过程。
随着近几年大数据、数据分析技术越来越热门,Tableau、Qlikview包括国内的BDP商业数据平台等一些轻型敏捷BI,由于简单易用,可视化程度高、使用门槛低、使用成本低的优势(这就是敏捷BI对比传统BI的优势吧),逐渐被企业认可。
传统BI的做法是IT人员事先根据分析需求来进行建模(以及做二次表或打Cube),提前汇总好数据,业务人员在前端查看分析结果报表。这种做法很成熟,持续了很多年,但是也存在着一些问题。业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模时预先设定好,不能更改,比如定好了是求和或求平均数,想改成求方差必须回去修改模型。分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较久。 造成这些的问题的本质原因是,过去的技术架构针对海量数据的计算能力不足,需通过建模、二次表、Cube提前进行数据运算汇总。
随着技术发展,敏捷BI的革新出现了,以国内的最新敏捷BI工具DataFocus为例,
首先是基于大数据前提的数据处理技术,可以对TB级的数据实现秒级响应,能交互式分析,上钻下钻挖掘数据;
然后是以无IT背景业务人员为目标用户,当然数据分析师也一样能用,而且可以更关注于问题本身,略去以前繁重的编程过程。
再者不需要IT人员进行事先建模,可在分析过程中灵活调整以及自动建模,提升分析的效率从而提升企业决策的洞察力和及时性。
最后,DataFocus采用自然语言分析处理,运用搜索问答式的交互方式,更贴合用户使用习惯,并在使用中运用AI智能去辅助用户对数据进行探索。轻量建模、数据直连、灵活交互,相比传统BI成本更低、上线更快、使用更方便、价值更大。
所谓工欲善其事,必先利其器。在国外,如Tableau、Qlik等敏捷BI工具已经获得了众多企业的认可,而在国内,也有像DataHunter这样的轻量级自助式BI服务商涌现。那么,在数据分析层面,以DataHunter为代表的敏捷BI产品与传统BI相比到底有何优势呢?
数据建模
通常,使用传统BI进行数据分析,IT人员需要先根据分析需求进行数据建模,这其中涉及到很多复杂流程,包括确认客户需求、汇总数据、对数据进行ETL处理、定义数据间的关联模型等,之后业务人员会根据输出的数据报表进行查看。
这种方式带来的直接问题就是,一旦客户的分析需求发生变化,那么业务或分析人员无法自行修改数据报表,只能依靠IT部门。此时,IT人员需要重新建模或修改已有的分析模型,再进行报表输出。毫无疑问,这种方式效率低下,而且耗时很久。
另外,静态的数据报表也让业务人员无法进行有效的数据分析。因为所有的维度和度量都是已经预设好的,输出的可视化图表也是固定且无法修改的,例如,想要对已经设定好求和的数值进行求平均值,那需要重新进行建模。
使用敏捷BI产品进行数据分析,则无需进行复杂的数据建模。通过DataHunter自主研发的轻量级BI产品,数据建模过程相当简单。业务人员只需要将长传后的数据表进行拖动关联,就可以完成建模过程。
实时交互分析
由于传统BI基本以提供报表服务为主,虽然功能比较全面,但受限于产品技术架构和复杂且固定的分析流程,一方面,传统BI无法实现实时的数据采集、处理和分析,另一方面,业务人员也无法随时调整数据报表,更多则是以固定时间为周期输出监控类或固定格式报表。
DataHunter的基于自主研发的DH Data Connector Framework(数据连接器框架),支持用户实时对接企业内的各种业务系统数据,并通过内存分析引擎进行实时的处理和分析。
探索式分析
传统BI产品基本是采用验证式分析模式,其是一种自上而下的模式。即企业决策者设定好业务指标,提出分析需求,分析人员再根据相关需求进行报表定制。这种模式必须先有想法,之后再通过业务数据进行验证。所以验证式分析对数据质量要求很高,如果数据本身出现问题,那么即便通过科学的数据建模进行分析,结果也肯定是错误的。
相比于验证式分析,探索式分析对数据质量要求相对较低,同时也不需要复杂的数据建模,这也是Data Analytics的核心理念。探索式分析的意义在于,它允许分析人员或决策者在不清楚数据规律、不知道如何进行数据建模的情况下,通过数据本身所呈现出的可视化图表进行查看和分析。
目前,基于探索式分析的数据可视化产品并不多见,国外产品包括Tableau、Qlik、Power BI等,而国内最具代表性的则是DataHunter自主研发的自助式BI产品。基于探索式分析,DataHunter支持智能推荐图形、图表协同过滤、全维度数据钻取,可以帮助用户快速定位并发现问题。
操作简单
传统BI的设计理念在于帮助企业构建大而全的报表平台,功能虽多但非常复杂。一方面,传统BI需要进行手动建模,操作复杂且学习难度极大;另一方面,在整个数据处理环节中,也需要大量的代码指令,这是业务人员无法完成的。
相比于传统BI,自助式BI产品更加轻量级,由于产品本身主要面向业务人员使用,所以自助式BI更加简单易用,使用门槛也非常低,即便没有任何操作经验的小白用户,也能轻松上手。
以DataHunter产品为例,不管是数据处理还是分析过程,全程通过拖拽操作即可完成。同时,从教学视频到帮助文档,DataHunter为用户提供了完善的学习资料,用户通过学习,几分钟就可以完成从数据整合、数据关联、可视化分析、建立业务看板所有流程。