数据编织技术实现数据动态管理 企业加码数据构架升级

【环球网科技报道】“数据管理的未来。”这是Gartner 给予Data Fabric（数据编织）技术的评价。自2019年起，Gartner 已经连续三年将 Data Fabric 技术列入十大数据分析技术趋势之一。甚至在2022年，Gartner 将 Data Fabric 技术列为数据管理和分析领域的排名第一的技术趋势，它的出现为企业提供了更加灵活和高效的数据管理和分析解决方案，因此备受关注和追捧。

Data Fabric，是一种新的数据管理和集成方法，它将数据生态系统的复杂组件整合到一起，提供完整且有凝聚力的数据管理方案。与传统数据湖不同，Data Fabric无需将数据移动到集中位置，而是依靠强大的数据虚拟化技术及数据治理策略来实现数据管理的统一。

从技术优势来看，Data Fabric数据管理方法，打破了传统数仓及数据湖等前几代数据处理技术限制，释放了数据的生产力。而这种优势，随着AI技术的爆发，在场景应用端得到了更大释放。

目前，包括IBM、HPE、微软等巨头纷纷布局该技术，在今年先后发布了新的Data Fabric技术产品。在国内，随着这一技术成为新风口，相关IT初创企业纷纷入局，希望能够在企业级市场获得新的业务突破。

企业数据工程体系的“隐形”挑战

Gartner为何认为Data Fabric技术是“数据管理的未来”？需要先来看一下目前企业数据工厂体系所面临的“隐形”挑战。

随着数字经济的不断发展以及市场竞争的不断加剧，企业越来越重视产品与服务的用户体验提升和客户价值创造，越来越强化数据对业务的深化融合，越来越依赖日常经营各个环节的数据驱动。

当业务从数字化管理转向数智化运营的过程中，企业通常会面临数据需求的快速增长。这不可避免地意味着ETL作业数量将会呈指数级增长，而对于ETL工程师来说，个人可以管理的任务量和处理的系统复杂度都是有限的。这也让现有的传统ETL工程体系难以持续。

在业务上，企业期望实现更精细化的管理，但在工程层面上，匹配这样的需求非常困难。

既然传统的模式，即依靠ETL工程师驱动的模式是不可持续的，那么是否存在一种新的模式可以替代它？

Data Fabric能做什么？

Data Fabric 是一种使用基于网络的架构而不是点对点连接来处理数据的新兴方法。这种支持从数据源级别到分析、洞察力生成、编排和应用程序的集成数据层(结构)，能够使业务用户可以使用基础数据分析生成的信息和洞察力，而无需其他重复或强制性的数据科学工作。

市场调研机构 Statista认为，到2024年，全球数据生成和消费量将超过149泽字节，其中非结构化数据将占其中的80%左右。而Data Fabric 被视为这个问题的答案。它改进了数据仓库和数据湖的旧概念，引入了一种架构，可以在整个企业中实现统一的数据利用。

在Data Fabric技术出现以前，数据结构的设计都主要部署成静态基础设施，而该技术出现后，可以采用动态的数据网格方法全面重新设计。

以往的数据连接的架构设计主要设计逻辑是“人找数据”，而Data Fabric设计核心是“数据找人”，在合适的时间、将合适的数据推送给需要的人。

国内市场仍有较大发展空间

目前，IBM、HPE、微软等都在争相布局Data Fabric在数据管理的应用。今年5月，在连续3周内IBM、HPE、微软三巨头先后发布新的Data Fabric产品，或更新现有的Data Fabric产品。

国内，大应科技刚刚对外发布基于Data Fabric之上的NoETL 数据工程架构，提出了通过自动化手段消除人工 ETL 的数据工程新范式，这也是大应科技提出的“ NoETL ”理念。这种模式旨在寻找一种不再依赖于传统ETL工程师驱动的方法，从而实现数据生产力的可持续和大规模增长。

浙江大应科技有限公司（以下简称大应科技）CEO周卫林说道：“我们设计的NoETL模式可以充分利用企业现有的数据湖、数据仓库和其他数据源，盘活全部数据资产，实现平滑升级，而不是完全重构。”

这一全新的架构能够消除传统数据工程的障碍，例如繁重的管道、运维任务和预计算成本，同时提高效率和生产力。实际的业务效果体现在需求交付周期的缩短，从按周或按月交付变为按天或按小时交付，以及将存储和计算成本降低70%以上。周卫林介绍：“在我们的大客户中，如果以类似蚂蚁的规模为例，我们发现只有5%的当天更新的数据会被当天使用，而当月使用的数据仅为30%。这表明大量的数据其实并未被利用。”

在周卫林看来，数据编织这一理念在国际上已有所应用，但在国内尚属于新兴领域，随着数字化及人工智能浪潮的推进，传统集中的数据供给和管理方式越来越难以应对大量、灵活、高频的数据需求。数据编织有望成为新的趋势，对于Aloudata来说，探索国内落地路径有利于提前抢占市场机遇。

据了解，目前，数据编织作为一种新兴的技术趋势及数据管理理念，在国内市场仍处于起步阶段，在市场认知与接受方面仍存在较大的空间。Aloudata管理团队也坦言，当下的工作仍充满挑战，无论是市场认知与教育，还是应用成果的推广扩大，都还需要持续的探索与努力，相信这些努力将会带来长远的成果。