Google Cloudが新しいクロスプラットフォームデータストレージエンジン「BigLake」を発表

Google は本日、Cloud Data Summit において、企業がデータ ウェアハウスやデータ レイク内のデータをより簡単に分析できるようにする新しいデータ レイク ストレージ エンジンである BigLake のプレビュー開始を発表しました。

ここでの根本的な考え方は、Google の BigQuery データ ウェアハウスの実行と管理に関する経験を Google Cloud Storage 上のデータレイクに拡張し、データレイクとウェアハウスの最良の部分を、基盤となるストレージ形式とシステムを抽象化する単一のサービスに組み合わせることです。

注目すべきは、このデータはBigQueryに保存できるだけでなく、AWS S3やAzure Data Lake Storage Gen2にも保存できるということです。BigLakeを利用することで、開発者は単一の統一されたストレージエンジンにアクセスし、データの移動や複製をすることなく、単一のシステムから基盤となるデータストアにクエリを実行できるようになります。

「異なるデータレイクやウェアハウスにまたがってデータを管理すると、サイロ化が生じ、特にデータを移動する必要がある場合にリスクとコストが増加します」と、Google Cloudのデータベース、データ分析、ビジネスインテリジェンス担当バイス・プレジデント兼ゼネラルマネージャーであるゲリット・カズマイヤー氏は本日の発表で述べています。「BigLakeを使用すると、企業はデータウェアハウスとデータレイクを統合し、基盤となるストレージ形式やシステムを気にすることなくデータを分析できます。これにより、ソースからデータを複製したり移動したりする必要がなくなり、コストと非効率性が削減されます。」

BigLakeでは、ポリシータグを使用することで、管理者はテーブル、行、列レベルでセキュリティポリシーを設定できます。これには、Google Cloud Storageに保存されているデータだけでなく、Googleのマルチクラウド分析サービスであるBigQuery Omniがサポートする2つのサードパーティシステムにもセキュリティ制御が適用されます。これらのセキュリティ制御により、Spark、Presto、Trino、TensorFlowなどのツールには適切なデータのみが確実に送信されます。また、このサービスはGoogleのDataplexツールと統合されており、追加のデータ管理機能も提供しています。

Google によれば、BigLake はきめ細かなアクセス制御を提供し、その API は Google Cloud だけでなく、オープンな列指向の Apache Parquet などのファイル形式や、Apache Spark などのオープンソース処理エンジンにも及ぶという。

テッククランチイベント

サンフランシスコ | 2025年10月27日～29日

「組織が管理・分析しなければならない貴重なデータの量は、驚異的な速度で増加しています」と、Google Cloud ソフトウェア エンジニアの Justin Levandoski 氏とプロダクト マネージャーの Gaurav Saxena 氏は本日の発表で説明しています。「これらのデータは、データ ウェアハウス、データ レイク、NoSQL ストアなど、多くの場所に分散する傾向が強まっています。組織のデータが複雑化し、異なるデータ環境に拡散するにつれて、サイロ化が進み、特にデータの移行が必要な場合、リスクとコストが増大します。お客様からは、支援の必要性を強く訴えられています。」

BigLakeに加え、Googleは本日、グローバル分散SQLデータベースであるSpannerに「変更ストリーム」と呼ばれる新機能をまもなく追加すると発表しました。これにより、ユーザーはデータベースへの挿入、更新、削除など、あらゆる変更をリアルタイムで簡単に追跡できるようになります。「これにより、SpannerからBigQueryに変更を簡単に複製してリアルタイム分析を行ったり、Pub/Subを使用して下流のアプリケーションの動作をトリガーしたり、コンプライアンスのためにGoogle Cloud Storage（GCS）に変更を保存したりできるため、お客様は常に最新のデータにアクセスできるようになります」とKazmaier氏は述べています。

Google Cloud は本日、データ サイエンス プロジェクトのライフサイクル全体を管理するツールである Vertex AI Workbench をベータ版から一般提供に移行し、Connected Sheets for Looker と、Data Studio BI ツールで Looker データモデルにアクセスする機能をリリースしました。