Databricksのマーケティングアナリティクスチームの成長を支える秘密

July 10, 2023

Chris Lamonica

Databricksのマーケティングアナリティクスチームの成長を支える秘密

サイロ化し混沌としたデータウェアハウスから、モダンデータレイクハウスへ。

「データエンジニアを採用する代わりに、Fivetranのおかげでビジネスバリューに焦点を絞り、アナリストやダッシュボードビルダー、ウェブ解析やペイドメディアの専門家を採用できるようになりました。1～2年前に比べて、インフラははるかに拡大され、より高度になっています」（クリス・クラジンスキー、Databricksマーケティングアナリティクスマネージャー）。

主な成果

Databricksのマーケティングアナリティクスチームは、サイロ化し混沌としたデータウェアハウスからモダンデータレイクハウスへと移行し、2年間でチームの人数は1人から5人へと拡大されました。
信頼性の高いデータへのアクセスは、マーケティングチームのパフォーマンスの可視性を拡大し、説明責任を果たす文化の構築に貢献しました。
Fivetranの導入により、Databricksはエンジニアリングにかける時間を1ヶ月あたり40時間以上節約しています。これは、パートタイムでデータエンジニアを雇うことと同等です。
時間が節約できたことで、マーケティングアナリティクスチームは、ダッシュボードの構築、ビジネスインサイトの促進、機械学習プロジェクトにおける他のチームとのコラボレーションなどに集中できるようになりました。

データスタック：

パイプライン： Fivetran

コネクタ： Marketo、Salesforce、Facebook広告、Google アナリティクス

デスティネーション： DatabricksのDelta Lake

ビジネスインテリジェンスツール： Tableau、SQLアナリティクス

状況

Databricksでマーケティングアナリティクスマネージャーを務めるクリス・クラジンスキーをご紹介します。同氏はFivetranのパワーユーザーです。Databricks初のフルタイムマーケティングアナリティクスチームメンバーとなったクリスは、AmazonのKindleチーム、Alexa Customer Behaviorチームでの豊富な経験を携え、2019年同社に入社しました。

クリスの任務は明確で、Databricksのマーケターが抱える難題の解決を支援することでした。Databricksは、世界最大級の課題解決を支援するデータチームを有するビジネスで、Apache SparkやDelta Lake、MLflowのオリジナルクリエイターによって2013年に設立されました。クラウド上のモダンレイクハウスアーキテクチャ上に構築されたDatabricksは、データウェアハウスとデータレイクの長所を組み合わせて、データとAIのためのオープンで統一されたプラットフォームを提供します。

問題点

Databricksでのクリスの最初の職務は、パイプラインの生成促進、データベースの拡大、ROIの改善というマーケティングにおける主目的のサポートでした。しかし、Databricksが急速に拡大するにつれて、データの一元化と文書化の必要性が明らかになっていきました。クリスのマーケティングチームも含め、データは各データウェアハウスに保存されており、ビジネスの各部門でデータのサイロ化が進行していました。

マーケティング業務をスムーズに進めるためには、クリスが新しく構築したダッシュボードに、信頼に値するタイムリーなデータを供給する必要がありました。しかし専任のエンジニアがおらず、またマーケティングチームが急速に拡大する中、需要に応じた規模拡大はほぼ不可能に近い状態でした。

「私がしていた業務のうち97%は現状を維持することでした。膨大なデータから抜け出せたことは、私にとって大きなQOLの向上となりました。」

クリスがDatabricksに入社した当時、データはNotebooks、Alteryx、また中心チームの旧式パイプラインを通じて収集されていましたが、この手法では規模の拡大は不可能でした。マーケティング部門のリーダーは、そのデータやレポートが信用できないと言い、クリスは送られてくる大量の問い合わせメールの対応に追われていました。Databricksは、従来のデータウェアハウスで様々な課題に直面していました。

特にSalesforceとMarketoのパイプラインに問題がありました。データをネイティブでDeltaフォーマットに取り込むことができないため、Parquetを使用して対応する必要がありました。
既存のテーブルにネイティブにデータを追加する場合、一時テーブルの使用や、より複雑なETLが必要になるという問題がありました。
スキーマの変更では常にパイプラインが中断し、障害が発生したり、データが陳腐化して信頼できないといった結果になっていました。

そのため、ステークホルダーは、魅力的なインサイトが本物なのか、それとも単にデータ品質に問題があるのかを見分けることができませんでした。クリスのチームは、データとソースシステムとの不一致が発生するたびに、ステークホルダーからの信頼を失うことになりました。このような状況のため、計画や予算配分などの意思決定にも支障をきたしていました。

ソリューション

クリスは、チームが要求する信頼性の高いパイプラインを提供可能な、すぐに使用できるソリューションを模索し始めました。その結果、戦略を3点に絞りました。

データエンジニアリングの「ジャングル」から抜け出して、インサイトと予測分析に取り組む。
データエンジニアやDevOpsではなく、アナリストやデジタルSME（中堅中小企業）を雇う。
自社内で完結するデータパイプラインで、DeltaやAutoMLを活用する。

「私たちが希望していたのはデータエンジニアリングのビジネスではありません。ビジネスの成果を生み出すインサイトを提供し、分析に集中することでした。」

Fivetranは、データパイプラインに関するクリスのニーズに対するソリューションとして、すぐに彼の関心を引きました。製品のトライアルでは、セットアップは素早く簡単でした。「簡単な指示に従いクラスタをセットアップし、IPをホワイトリストに登録したところ、数日で稼動できました。」

クリスのチームは現在、Fivetranを使用して、Marketo、Salesforce、Facebook広告、Google アナリティクスといった中核になるマーケティングソースシステムのすべてからデータを取り込んでいます。「一言で言えば、問題なく動いています。」レイクハウスにデータが届くと、クリスのチームは製品チームやセントラルチームの他のソースと結合させ、データサイエンスや機械学習を実行し、分析に不可欠なTableauダッシュボードを生成できるように変換します。

成果

現在、クリスはアナリストやリーダーで構成される急成長中のデータチームをサポートし、90人以上のマーケターに重要なインサイトを提供しています。Fivetranの導入により、Databricksはエンジニアリングにかける時間を1ヶ月あたり40時間以上節約しています。これは、パートタイムのデータエンジニアを雇う場合と同等です。

「従来のようなエンジニアリングの人員を採用する代わりに、Fivetranのおかげでビジネスバリューに焦点を絞ることができ、アナリストやダッシュボードビルダー、ウェブ解析やペイドメディアの専門家を採用しています。1～2年前に比べて、インフラははるかに拡大され、より高度になっています」

データの取り込みをFivetranに任せることで、クリスはマーケティングチームが直面する、最も一般的な質問に答えるTableauダッシュボードを構築する時間を確保することができました。これによりチームの時間を節約でき、チームメンバーは3つのデータサイエンスと機械学習プロジェクトで価値を高めることに集中できるようになりました。

キャンペーンレベルを正確に予測することで、マネージャーは自分たちのペースと、パフォーマンスが順調であるかどうかを把握できます。
因果的影響モデルで、特定の顧客のイベントが消費に与える影響を判断します。
過去の行動に基づいてイベントへの参加を予測する傾向モデルで、さらにターゲットを絞ったメールマーケティングを行うことができます。

クリスの意思決定が部下に及ぼす影響は、すでにDatabricks社内でも認識されています。カスタマーサービスとカスタマーサクセス部門は、このプロセスがいかに簡単であるかを目の当たりにし、より多くのユースケースとコネクタを起動させることを求めています。

*Fivetranを使用することで、新入社員が使用する新しいデータソース、つまり私たちがまだ深く探求していない領域も取り込むことができます。すぐに使用を開始して、ダッシュボードを構築できます。パイプラインを構築したり、ノートブックやコードの記述方法を覚える必要はありません。データにすぐにアクセスできるので、インサイトやステークホルダーとの関係構築に注力できます。」

信頼性の高いデータへのアクセスは、マーケティングアカウントマネージャーにとって非常に重要です。彼らは自分たちが行う予測に対して以前よりもより責任を持つようになりました。ダッシュボードが洗練されたことで可視性が向上し、チームはキャンペーンのパフォーマンスを追跡し、迅速に行動しやすくなりました。

Delta Lakeにデータを取り込むには DatabricksとFivetranの機能の詳細については、Databricksパートナーポータルをご確認ください。

Fivetranのマーケティングアナリティクスページでは、高速で信頼性の高い、リアルタイムの手法でマーケティングデータを一元化する方法をご覧いただけます。