Google推出BigLake预览版:帮企业更容易分析数据
在其 Cloud Data Summit 峰会上,Google 宣布推出 BigLake 预览版。通过这个新数据湖存储引擎,可帮助企业更容易分析其数据仓库(data warehouses)和数据湖(data lakes)中的数据。
访问:
阿里云“无影云电脑” 支持企业快速实现居家办公
BigLake 的核心是利用 Google 在运行和管理其 BigQuery 数据仓库方面的经验,并将其扩展到 Google Cloud Storage 上的数据湖,将数据湖和仓库的优点结合到一个单一的服务中,抽象出基础存储格式和系统。
值得注意的是,这些数据可以放在 BigQuery 中,也可以存放在 AWS S3 和 Azure Data Lake Storage Gen2 上。通过 BigLake,开发者将获得一个统一的存储引擎,并能够通过一个系统查询底层数据存储,而不需要移动或重复数据。
在今天的公告中,Google Cloud 的数据库、数据分析和商业智能副总裁兼总经理 Gerrit Kazmaier 表示:
在不同的数据湖和数据仓库中管理数据,会产生孤岛,增加风险和成本,特别是当数据需要移动时。BigLake允许公司统一他们的数据仓库和湖泊来分析数据,而不必担心底层的存储格式或系统,这消除了从源头上重复或移动数据的需要,减少了成本和低效率。
使用策略标签,BigLake 允许管理员在表、行和列级别上配置他们的安全策略。这包括存储在 Google Cloud Storage 的数据,以及两个支持的第三方系统,其中Google的多云分析服务 BigQuery Omni 启用了这些安全控制。然后,这些安全控制也确保只有正确的数据流入 Spark、Presto、Trino和TensorFlow等工具。该服务还与Google的Dataplex工具整合,提供额外的数据管理功能。
Google指出,BigLake 将提精细度的访问控制,其API将跨越Google云,以及开放的面向列的Apache Parquet等文件格式和Apache Spark等开源处理引擎。
Google Cloud 软件工程师 Justin Levandoski 和产品经理 Gaurav Saxena 在今天的公告中解释道
企业需要管理和分析的有价值的数据量正在以惊人的速度增长。这些数据越来越多地分布在许多地方,包括数据仓库、数据湖和NoSQL存储。随着企业的数据越来越复杂,并在不同的数据环境中扩散,孤岛出现了,造成风险和成本增加,特别是当这些数据需要移动时。我们的客户已经明确表示;他们需要帮助
推荐
直播更多》
-
特斯拉公司CEO埃隆马斯克 向Twitter发出收购要约
和外界预期的一样,特斯拉公司 CEO 埃...
-
特斯拉公司CEO埃隆马斯克 向Twitter发出收购要约
和外界预期的一样,特斯拉公司 CEO 埃...
-
笔记本电脑代工厂广达发布公告 配合防疫政策暂时停工
笔记本电脑代工厂广达今(13)日发布公告...
-
英特尔公司宣布斥资30亿美元 扩建美国奥勒冈州D1X工厂
英特尔公司宣布斥资 30 亿美元,扩建...
-
莆田电信积极组织开展安全运营专项工作 强化员工安全意识
为全面落实稳字当头、稳中求进的云网安...
-
精准落实优惠税率 河北高企税费减免超百亿元
近日,记者从河北省税务局获悉,2021年...
资讯更多》
焦点
- 奇瑞新能源一季度达成50013辆销量 实现255.4%同比增长
- 昆山重新调整划定5个静态管理区 延长静默期7天
- 受苹果用户隐私政策调整影响 科技巨头2022年营收将减少近160亿美元
- 加快湖北数字化转型 5G信息技术重塑制造业发展形态
- 斯坦福大学团队发表论文 展示大脑运动皮层神经网络如何实现新记忆索引
- 广东首座华南唯一 广州汇云数据中心入选2021年国家新型数据中心名单
- 慢性疾病严重威胁我国居民健康 低龄化趋势明显
- 消除线路施工安全隐患 智慧光网云守护系统成为工地“火眼金睛”
- IMT-2020推进组蜂窝车联工作组第二十次全体会议 近日在线上举行
- 气候变暖将珊瑚推向耐热极限 人工智能助力寻找耐热珊瑚