Qlik：数据集成领域的五大发展趋势

本篇文章3456字，读完约9分钟

:杨，qlik亚太区数据集成部副总裁

从数据迁移和数据仓库，到主数据管理和实时商业智能，关键it 计划的投资和成功在很大程度上取决于数据集成的实施模式。通过提供高性能工具来跨多个存储点收集、过滤和移动数据，数据集成平台可以轻松实施关键的信息技术计划和其他计划，甚至加快部署。

Qlik认为，以下五点将成为数据集成领域的五大发展趋势:

1.成为实时企业是大势所趋

如果您计划部署嵌套数据集，您需要在正确的时间将信息传递到正确的位置。目前，世界领先企业正在实时运营，因为许多项目的实施对其监控响应速度有很高的要求，如监控市场活动的效果、发现涉嫌欺诈的异常现象、提供医疗和人道主义服务、进行现场个性化运营，甚至优化供应链。最近，以下三项相关技术的突破将在2020年共同推动上述方面的发展。

随时随地接入高速网络。由于5g和ipv6技术的应用，我们有能力实现超级连接。

按需实现无限扩展的工作负载。随着所有数据转移到云中，kubernetes变得特别有吸引力。这种企业级的容器化应用程序可以合理地安排资源分配，并使正确的工作负载在正确的位置运行，甚至在边缘设备上也是如此。

强大的流架构。在apache kafka和其他解决方案的推动下，cdc平台和实时数据流平台能够以低延迟高效地吸收和处理大量数据。

行业预测

到2022年，超过一半的主要新业务系统将整合实时上下文数据以改进决策，从而实现持续智能。

—— gartner

主要行业活动

根据云本地计算基金会发布的半年度调查报告，40%拥有5000名或以上员工的企业表示，他们将在生产环境中应用kubernetes。

——企业家项目

2.数据操作和自助服务带来了新的灵活性

由数据发现工具驱动的自助分析服务使企业用户能够获得最符合其需求的解决方案。但是直到现在，在数据管理中还没有实现同样的灵活性。

dataops源于devops，是一种自动化的、面向过程的方法，可以提高数据管理的质量，缩短数据管理周期，从而便于数据分析。由于变更数据捕获(cdc)和流数据管道技术，它还可以实现数据实时测试和部署的自动化。此外，它可以利用按需信息技术资源来支持连续的数据传输。如今，80%的数据应该以这种系统化的方式交付给企业用户。通过这样做，我们不需要单独准备自助数据。通过使用操作端的数据操作和企业用户端的自助服务，企业将能够更有效地体验整个信息价值链中的数据流，实现数据的集成和分析，从而部署嵌套数据集。

行业预测

到2020年，业务部门的数据和分析专家的增长率将是it部门的三倍，这将迫使企业重新考虑其组织模式和技能。

—— gartner

主要行业活动

最近数据和分析市场的整合表明，这正成为一种必然趋势。

3.活动元数据目录为数据和分析提供支持

数据集的分布越来越广，这对企业来说是一个巨大的挑战，因为所有这些数据都需要编目和集成。如果无人看管，数据可能很快就会过时。数据目录可以在这方面有所帮助，因此对数据目录的需求激增也就不足为奇了。

一个有希望的解决方案是通过机器学习来增强元数据目录。它们将数据管理从被动变为主动，并能保持数据的适应性和变化性，即使在混合/多云的生态系统中也是如此。本质上，这些元数据目录提供了必要的连接和管理，以满足数据操作和自治服务所需的灵活性。此外，它们还包括信息个性化，这是生成相关见解和定制内容的基本组成部分。但是，为了集成分散和分布式的数据，目录还必须能够在所选的分析工具环境之外发挥作用。

行业预测

到2023年，60%的企业将使用数据目录来集成数据发现、访问和智能，并提高数据操作和业务结果的透明度和可信度。

—— idc

4.识别像沙札姆这样的数据:这可能是

著名的音乐服务应用程序Shazam可以通过设备的麦克风识别歌曲，从而打开一个发现目录。谷歌眼镜 可以通过深度学习和视觉分析识别动物和植物，阅读和翻译文本。亚马逊也引进了类似的技术，通过分析图片可以找到想要的衣服。然而，我们能像shazam 识别歌曲那样识别我们的数据吗？

到2020年，嵌入整个信息价值链的人工智能将使分析系统中的算法能够更好地识别我们的数据，发现异常情况，并指出要分析的新数据(但这不是最重要的)。我们将能够指向一个数据源，并查看数据来自何处、用户是谁、数据发生了多大变化以及质量是否良好。不管数据有多大，人工智能都可以获得更多的洞察力，并集成数据集成和分析。

行业预测

到2024年，对于部署由机器学习驱动的数据管理、集成和分析解决方案的企业来说，以数据为中心的员工的生产率将翻一番。

—— idc

主要行业活动

亚马逊的stylesnap使用机器学习为用户找到相似的衣服和款式。

——边缘(美国著名科技媒体网站)

5.兼顾道德和责任的计算在目前非常重要

大多数技术飞跃在某种程度上改变了我们周围的世界，为我们打开了一个更美好的未来。然而，一些进展可能带来一些重要的隐患。算法将如何影响我们的隐私和自由意志？从不当使用个人数据到自动分析，使用这些数据的诱惑是不可抗拒的。

为了防止这一问题，相关法律法规相继出台，如美国的《云计算法案》和欧盟的《通用数据保护条例》(gdpr)，以确保云计算战略的合规性。跨国公司尤其受到影响，因为不同国家颁布的法律法规不同。鉴于此，当前的混合云方法不再是一个选项，而是必须的。

如今，增强企业的责任感更为重要。除了确保合规性，企业还必须赢得并保持客户的信任。一旦一家公司被认为超越了顾客隐私的界限，它很可能会对其品牌造成不可挽回的损害。问题不仅仅是某件事是否可以做，而是它是否应该做。企业建立数字伦理委员会是一种对策，有助于风险最小化和收益最大化。从长远来看，企业需要将注意力从股东转移到利益相关者身上。

行业预测

到2023年，超过75%的大型企业将雇佣人工智能行为识别、隐私和客户信任方面的专家来降低品牌和声誉风险。

—— gartner

主要行业活动

在过去的四年中，违规行为增加了50%或更多，2019年成为历史上最严重的一年。

—— techrepublic(美国著名的it网站)

在这个日益碎片化的大数据时代，如果不整合数据，数据分析将会受到影响。企业和分析师必须用支持数据集成和分析的方法、人员和技术来扩展他们的工具包。这对于基于数据分析制定战略和实现创新，以及确保遵守复杂的法律法规尤为重要。

随着网络经济的发展和大数据时代的到来，数据作为生产要素在国民经济发展过程中的重要性日益突出。2020年4月，中共中央、国务院发布《关于建立更好的要素市场化配置体系和机制的意见》，将数据与土地、劳动力、资本和技术并列为生产要素，要求加快培育数据要素市场。可以看出，数据正在成为科技创新的突破口。

当我们能够整合数据并使人们能够以改变行业规则的方式使用数据时(部署数据马赛克)，我们就能促进商业、人类和整个世界的真正变革。

关于边肖

杨先生现任qlik亚太区数据整合部副总裁，主要负责通过不同渠道以及与战略合作伙伴的合作，拓展qlik亚太区的数据整合业务。

在云时代，杨先生协助企业客户完成了关键的数据集成工作，帮助他们传输了大量高质量的实时数据，直接服务于信息流、云平台、数据仓库和数据湖的分析。

杨先生在企业软件行业拥有超过25年的工作经验，曾担任销售、专业服务和支持服务经理。加入qlik之前，杨先生曾担任attunity 亚太区副总裁(Attunity于2019年5月被qlik收购)。

杨先生拥有剑桥大学硕士学位和伦敦大学计算机科学学士学位。

关于qlik

Qlik的愿景是创造一个具备数据素养的世界，在这个世界里，每个人都可以使用数据来优化决策和解决最具挑战性的问题。Qlik的端到端数据集成和分析平台可以汇集来自任何企业来源的数据，因此任何技能水平的用户都可以怀着极大的兴趣探索和发现新的深入分析结果。使用qlik的企业可以更深入地了解客户行为，重塑业务流程，发现新的收入来源，平衡风险和回报。Qlik在100多个国家开展业务，为全球50，000多名客户提供服务。

每当我们见面，他总是微笑，给人一种非常友好和舒适的感觉。这是煤化工运营公司青能项目部党支部书记、经理马进力给我的第一印象。他是怎么跑进《外出》的...

应该肩负起在北疆实施心脏工程的使命。在山西、陕西、蒙古交界处的智能公司马地梁矿，就有这样一群人，牢记工程建设的初衷，不忘开拓疆域、荆棘丛生、破浪前进、团结带领北疆部队的使命...