它是一个数据湖，一个数据仓库，不，它是一个数据湖

最靠谱的娱乐平台十大平台-权威认证-appleappstore-最靠谱的娱乐平台十大平台科技有限公司生活在一个有许多不同模式的世界 数据架构. 任何两个组织都不可能拥有相同的模式, 尽管他们都试图解决类似的问题.

当涉及到数据仓库时，有广泛的体系结构选择. 一些企业选择传统的企业数据仓库, 结合源系统数据创建结构化数据集市，并通过BI工具进行查询.

其他组织建立大型数据湖和数据库，使他们能够经济地存储非结构化数据, 半结构化和结构化数据, 经常提供数据科学和分析工具.

每个体系结构都是为了解决一个问题而设计的. 传统的 数据仓库 都很好 BI报告，同时提供数据消费的治理和严谨性. 数据湖非常适合分析大量不同的数据, 哪些可以快速消化和分析以做出决定. 然而，这有时会以…为代价 数据治理 有利于数据分析的速度和灵活性.

多年来，似乎没有中间地带或两全其美. 然而，随着数据湖的引入，这种情况正在改变. 在这个博客中, 最靠谱的娱乐平台十大平台-权威认证-appleappstore-最靠谱的娱乐平台十大平台科技有限公司回顾了该体系结构的主要特性，并讨论了Data Lakehouse试图解决的一些挑战.

数据湖畔

随着数据仓库和数据湖的发展, 从数据中提取价值和洞察力的架构和业务需求也是如此. 许多组织选择了混合模型，这些模型既包含受控的数据仓库报告，也包含严格的数据仓库报告, 再加上数据湖可以实现的灵活性和洞察力.

然而, 操作两个不同的体系结构会导致两个平台之间的数据传输方面的折衷. 这就是“数据湖”发挥作用的地方. 该体系结构将数据仓库和数据湖集成在同一个平台上.

使用Data Lakehouse的优点是，它消除了为不同的业务需求使用多个数据存储(一个单独的仓库和一个数据湖)的问题. 这意味着不用在湖中处理数据，然后构建ETL例程将数据加载到仓库中, 创建一个可以服务所有用例的数据存储. 正是这种共享存储平台形成了混合架构和Data Lakehouse之间的主要区别之一.

当然，需要仔细考虑安全问题， 治理, 数据沿袭以及数据管理，所有这些在任何企业系统中都是至关重要的. 这可以在Data Lakehouse体系结构中应用, 哪一个有可能简化这些操作, 因为提供这些关键任务的工具应用于一个数据存储，而不是多个数据存储.

典型的Data Lakehouse的其他特征包括:

• 允许多个业务用户和流程并发地读取或写入数据，同时保持数据完整性的能力.
• 支持模式实施和进化的能力, 健壮的治理, 审计, 数据管理.
• 允许多种数据工具(如BI)的单个数据存储, 机器学习和数据科学，直接访问源数据.
• 存储和计算分离, 允许系统扩展到更多的用户和更大的数据量.
• 标准化和开放的存储格式，允许访问广泛的工具和引擎.
• 存储各种数据类型的能力，如结构化, 半结构化和非结构化数据, 因此，数据可以通过组织内不同的工具进行分析.
• 端到端数据流消除了对单独系统提供实时数据的需求.

技术

技术提供商开始开发解决方案，允许组织引入数据湖架构. 这一领域的两个先驱是亚马逊和微软. 最靠谱的娱乐平台十大平台-权威认证-appleappstore-最靠谱的娱乐平台十大平台科技有限公司团队回顾了他们提供的产品，看看它们与典型的Data Lakehouse的特征进行了比较.

Amazon 红移和S3

亚马逊宣布了一系列更新计划 红移 和 S3 允许使用Lakehouse查询引擎. 红移 Spectrum允许对存储在S3和红移中的数据提交标准SQL查询. Amazon也发布了基于红移的Lakehouse架构的设计模式, 使用AWS使他们能够交付上面列出的特征. 这允许灵活的工具方法.

微软Azure突触

微软推出了 Azure突触, 他们将其描述为已经发展的Azure SQL数据仓库, 将企业数据仓库和 大数据 一个服务下的分析. 他们通过使T-SQL能够在嵌入式Apache Spark引擎和数据仓库上运行来实现这一点, 配合内置的管理和安全. 该平台支持SQL, Python, R与机器学习, 因此，业务用户可以使用他们喜欢的语言来查询数据. 因为它是微软的产品，所以集成 权力BI 也是可用的. 这使得微软能够提供一种具有数据湖特性的服务.

---

结论

Data Lakehouse架构的好处包括:

• 通过一个架构平台将数据存储在一个系统中，从而降低了成本.
• 通过允许多种不同工具访问数据的统一分析平台，更深入地了解数据.
• 治理和数据管理功能对非结构化和半结构化数据具有更易于管理的体系结构.

然而, 目前很少有实现数据湖的例子, 据报道，那些已经实施的措施有利于湖或仓库的某些部分. 除了, 刚刚投资了新的数据仓库和数据湖的组织不太可能转移到另一个可能无法为他们提供更大数据的架构, 或者是相同的, 功能级别.

技术提供商仍在开发Data Lakehouse解决方案, 一些功能还没有完全可用, 并承诺在未来的版本中. 虽然这些解决方案都没有达到全能型的地位, 它们能够为组织架构中可能存在的所有数据需求提供单一解决方案, 随着解决方案的成熟，这似乎是一种趋势.

数据湖为拥有各种数据和分析资产的组织提供了一些巨大的优势. 但这些发展还处于早期阶段, 如果他们能兑现所有的承诺, 这一点迟早会变得清楚.

最终, 与运行混合体系结构相比，这种单一平台方法确实提供了许多优势. 但是，随着组织多年来在这些技术的基础上制定这些战略, 这些混合架构很可能会继续下去.