Databricks Data + AI Summit 2026 世界のデータエンジニアリングチームにとって重要な理由

Ali Ghodsiは基調講演の冒頭、聞けば単純に思える一言を投げかけた。実行に移そうとすると、その難しさが分かる。「AIに足りないのは知能ではない。コンテキストだ」

CFOがAIに前四半期の利益率が変動した理由を尋ねても、納得のいく説明が返ってこない。営業責任者が次に狙うべきアップセル案件を尋ねても、候補が出てこない。それは、必ずしもモデルの性能不足ではない。今や、多くの場合にボトルネックとなるのはモデルではない。足りないのは、AIが意思決定に使える答えを返すためのコンテキスト、すなわちデータ、定義、業務ロジックである。そこを誤っても、AIは答える。ただ、その答えは正しくない。

データエンジニアリングを担う側にとって、この捉え直しは個々の新機能より重要である。難題の所在がモデルから自社のデータ基盤へ移るからだ。Data + AI Summit 2026でDatabricksが発表したすべてを貫いていたのも、この考え方だった。

Databricksが「世界最大のデータ・AIカンファレンス」と称するこのイベントには、6月15日から18日まで、サンフランシスコのMoscone Centerに3万人を超える参加者が集まり、150カ国以上からさらに数万人が視聴した。基調講演の中心を担ったのは、4人の共同創業者、Ali Ghodsi、Matei Zaharia、Arsalan Tavakoli-Shiraji、Reynold Xinである。Apache Spark、Delta Lake、MLflowを生み出した面々だ。Satya Nadellaはビデオで、OpenAIのGreg Brockmanは現地で登壇した。PepsiCoのデータ責任者は、議論を理論ではなく実運用の話へと引き戻した。現在、2万を超える組織が同プラットフォームを利用しており、その中にはFortune 500企業の70％が含まれる。

Ghodsiは、覚えておく価値のある四つの軸を示した。Context（コンテキスト）、Cost（コスト）、Control（統制）、Choice（選択肢）である。ほぼすべての発表が、いずれかに当てはまる。この枠組みで見ると、製品発表は単なる新機能の一覧ではなく、一つの戦略として見えてくる。

まずはContextである。これこそイベント全体の焦点だった。Genie Oneでは、チャット機能とドキュメント作成機能の一般提供が始まった。後付けのチャットボットではなく、自社のデータを理解する「AIの同僚」という位置づけである。その基盤をなすGenie Ontologyは、企業が自社の言葉をどう定義しているかを学び続ける自己改善型のレイヤーだ。「売上」や「アクティブ顧客」が、AIに尋ねるたび同じ定義で解釈されるようにする。テーブル、ダッシュボード、クエリに加え、実際の業務知識が蓄積されたJira、Slack、SharePointまで横断して読み取り、企業固有の文脈を組み立てる。華やかさはない。しかし、エージェントを信頼できるかどうかを決めるのは、こうした仕事である。答えはモデルの重みではなく、データモデル側にある。

次は、データ基盤を支える「配管」の部分だ。データエンジニアが真っ先に変化を感じるのは、ここだろう。Databricksが示したLTAP（Lake Transactional and Analytical Processing）は、トランザクション処理と分析処理が同じデータを読み書きするアーキテクチャだ。Delta LakeやApache Icebergなどのオープンフォーマットを使い、壊れやすいETLで二つのデータコピーを同期し続ける必要をなくす。トランザクション処理を担うのは、サーバーレスPostgres層のLakebaseである。

Lakehouse//RTも同時に発表された。社内開発のReydenを基盤とする、現在ベータ版のリアルタイムエンジンである。Reydenは共同創業者Reynold Xinにちなむ社内ジョークで、「Reynold’s Dream Engine」の略だ。Unity Catalogのガバナンス下にあるDeltaとIcebergのテーブルを直接クエリし、1秒当たり1万2,000件のクエリを100ミリ秒未満で処理するとDatabricksは説明する。初期顧客では、既存のリアルタイムサービング基盤と比べて最大16倍の性能が出たという。数字は今後1年で厳しく検証されるだろう。検証されてしかるべきである。パイプラインを一から手作業で構築したくないチームには、ドラッグ＆ドロップと自然言語でパイプラインを構築できるLakeflow Designerも一般提供となった。

Controlは、エージェント構想が現実になるか、机上の空論に終わるかを分ける。Unity CatalogにはMetricsが加わり、ダッシュボードごとに散らばり、担当者の頭の中にしかなかった業務定義や用語集を、ガバナンス対象のオブジェクトとして管理できるようになった。Unity AI Gatewayは、そのガバナンスをエージェントの実行環境まで広げる。何にアクセスできるか、何を実行できるか、いくらまで使えるかを、期待頼みではなくポリシーで制御する。Catalog FederationとOpenSharingは、自社で管理していないシステムまでその範囲を広げる。メッセージは明快だった。本番環境でエージェントを動かすなら、ガバナンスは後から整える書類仕事ではない。エージェントを動かすための前提条件である。

もう一つの大きなテーマはセキュリティだった。Databricksが今年初めに発表したLakewatchは、Open Cybersecurity Schema Frameworkを基盤とするレイクハウスネイティブのSIEMである。セキュリティデータを高コストな別サイロへ分離せず、ほかのデータと同じレイク内で一元的に管理する。SummitではPantherの買収合意も発表された。Antimatter、SiftD.aiに続く、同社にとって3件目のセキュリティ企業買収である。信頼とガバナンスをプラットフォームの中核に置くという意思表示だ。

一連の発表を並べると、一貫した狙いが見えてくる。レイクハウス自体の是非は、もはや論点ではない。次に問われるのは、その上に何を構築するかだ。ガバナンスされたコンテキストに根差し、本番環境で実際に動き、大規模に運用しても採算の合うエージェントである。Databricksによれば、同プラットフォーム上ではすでに10万を超えるエージェントが構築されている。ガートナーの2026年版「Magic Quadrant for AI Platforms」では「リーダー」に選出された。同社は、トランザクションストアからエージェントの実行環境、ガバナンス層まで、スタック全体を部品の寄せ集めではなく一つのプラットフォームとして押さえにきている。

当然、データエンジニアの仕事も変わる。多くのチームにとって、この10年はデータをAからBへ確実に移すことが主題だった。これからの数年は、もっと難しく、もっと面白い。AIを信頼できるものにするコンテキストを設計する。エージェントに許す行動を管理する。そして、エージェントを一つの本番システムとして運用する。パイプラインの技術が不要になるわけではない。使う先が変わる。

DatabricksはSummitで、業界初をうたう「コンテキストエンジニアリング認定資格」を立ち上げ、この変化を明確に示した。エージェントに与える情報を設計、構成し、ガバナンスする能力を認定する正式な資格である。シラバスは、そのまま新しい職務要件のように読める。情報検索、セッションをまたいで保持されるメモリ、ツールへのアクセス、エージェントが参照できる情報の厳密な制御。プラットフォームベンダーがある分野の試験を作るとき、その分野はすでに専門領域として成立している。

この転換に向けた投資が最も厚いのはアジアである。Databricksは4月、SAPとSplunkで幹部を務めたSimon Daviesをアジア太平洋・日本地域の責任者に任命した。直近四半期には、同地域の事業が前年同期比85％超で成長していた。投資も伴っている。オーストラリアとニュージーランドには今後3年間で3億米ドルを投じ、シンガポールでは新たな地域本社への移転を予定している。

その背景には、日本市場での確かな勢いがある。トヨタは統合データ・AIプラットフォーム「vista」をDatabricks上に構築した。NTTデータは、2027年度までにDatabricksエンジニア500人を育成し、今後5年間でDatabricks関連事業の売上高2億米ドルを目指すと表明した。三菱UFJ銀行も同プラットフォームを採用した。1月にはDatabricksがISMAPクラウドサービスリストに登録され、公共部門の調達への道が開かれた。信頼性とガバナンスが、後から付け足す要素ではなく参入条件となる市場である。Databricksによれば、2024年1月期の日本事業は前年比100％超で成長した。利用企業にはANA、ブリヂストン、イオン、コニカミノルタ、ソフトバンク、日経が名を連ねる。

Summitで示された方向性が日本にこれほどよく合う理由は、ここにある。日本企業では、データプラットフォームが調達、運用、監査の現場に持ち込まれた途端、ガバナンス、信頼性、説明責任が最初から組み込まれているかを問われる。そうでなければ、本番導入までたどり着けない。Ghodsiのいう「コンテキストの問題」は、たちまちガバナンスの問題になる。日本企業の購買判断とDatabricksの新たな方向性が交わるのは、まさにそこである。

欧州、アジア、米国にまたがってデータ基盤を構築するチームを率いるなら、今回のSummitから持ち帰るべきものは個々の新製品ではない。方向性である。コンテキストを付随作業ではなく、中核的なエンジニアリング成果物として扱う。エージェントを接続する前に、メトリクスと定義をガバナンス下に置く。エージェントを本番ワークロードとして設計し、コストとアクセス制御を最初から組み込む。この1年、こうした準備を着実に進めたチームだけが、AIに実際の意思決定を任せられる。

Ultra Tendencyもサンフランシスコの会場にいた。こうしたプラットフォームを、欧州、アジア、米国の現場が実際に信頼できる本番システムへ落とし込む。それがUltra Tendencyの仕事である。複数地域にまたがるレイクハウス、ガバナンス、エージェント型AIに取り組んでいるなら、今は話を始めるのにいいタイミングだ。