[ブログ] モダンデータスタックとは？これからのデータ分析基盤のカタチ！

February 1, 2023

Chi Fukada

モダンデータスタックとは？

これからのデータ分析基盤のカタチ！

「モダンデータスタック（MDS）」とは、クラウドサービスやSaaSツールを組み合わせたデータ分析基盤のこと、またその考え方を意味します。Fivetran、Snowflake、Lookerの3つを組み合わせたデータ分析基盤のことを指します。データ統合やデータ基盤に、一連の最新のツールを使用することで、ビジネスのデータを分析して、新たなチャンスの分野を積極的に発見し、効率を向上させることを目的としています。

これらのツールには、データの流れ順に以下のものがあります。

フルマネージドELTデータパイプライン
クラウドベースの円柱型ウェアハウスまたはデータレイクを目的地としたデータ統合ツール
データ変換ツール
ビジネスインテリジェンスまたはデータビジュアライゼーションプラットフォーム

ここでは、MDS に関してよく聞かれる質問にお答えします。

モダンデータスタックとレガシーデータスタックの違いは？

最新のデータスタックとレガシーデータスタックの最も重要な違いは、最新のデータスタックはクラウドでホストされており、ユーザーによる技術的な設定をほとんど必要としないことです。

これらの特徴は、エンドユーザのアクセス性を促進するとともに、ローカルサーバインスタンスの拡張に伴うコストや長いダウンタイムを伴わずに、増大するデータニーズに迅速に対応できる拡張性を備えています。

最終的に、最新のデータスタックは、データ統合の技術的な参入障壁を低くします。最新のデータスタックのコンポーネントは、アナリストやビジネスユーザを念頭に置いて構築されています。あらゆるバックグラウンドを持つユーザは、これらのツールを簡単に使用できるだけでなく、深い技術的知識がなくても管理することができます。

モダンデータスタックの利点は？

最新のデータスタックは、時間、コスト、労力を節約します。クラウド・コンピューティングとストレージのコストが低く抑えられていることは、オンプレミスのソリューションと比較して、最新のデータスタックのコスト削減効果を高めています。

既製のコネクタを使用することで、データコネクタの設計、構築、保守にかかるエンジニアリング時間を大幅に削減できます。アナリスト、データサイエンティスト、データエンジニアは、より価値の高いアナリティクスやデータサイエンスのプロジェクトに専念することができます。

Fivetranで最新のデータスタックを構築したお客様の声をご紹介します。

「Fivetranのおかげで、エンジニアのサポートなしに、製品、財務、顧客サービス、マーケティングのデータを1日以内にウェアハウスに同期させることができました。これで当社のユーザーは、データの検証やトラブルシューティングではなく、インサイトの発見に集中できるようになりました。」

– MessageYes、データ＆アナリティクス担当ディレクター、Brendon McKeon氏

「Fivetranの本当のメリットは、データの価値を最大限に高めるために、時間を集中できることです。より包括的な分析をより迅速に構築できるようになりました。我々の焦点は、ETLではなく、データモデリングとデータ分析にあります。」

– Exporo社 BI部門責任者 Gustavo Rada氏

“Fivetranのおかげで、月に20時間の人的資源を簡単に削減することができました。その代わりに、データの抽出やロードに取り組む代わりに、ビジネスを推進するための戦略的な洞察力の開発に使うことができます。」

– Zenefitsのアナリティクス部門責任者、Sean Rober氏

モダンデータスタック (MDS) をセットアップしよう！

簡単にできます。クラウドでホストされており、インフラの設定に伴う煩雑な作業を抽象化しているため、最新のデータスタックは1時間以内に簡単に設定できます。

モダンデータスタックを構成する要素

モダンデータスタックは、データパイプライン、デスティネーション (データの移動先)、トランスフォーメーション層、BIツール/データ可視化プラットフォームなどがあります。各項目の重要な特徴は次のとおりです。

1. データパイプライン

企業のすべてのデータソースへのコネクタがあらかじめ用意されており、データ統合の規模に応じて迅速に設定でき、APIの変更やスキーマの変更を考慮して完全に管理されているツールを探します。

2. デスティネーション（データの移動先・宛先）

データデスティネーションは、データストレージやアナリティクスのニーズに対応するために、長時間のダウンタイムなしにコンピューティングとストレージの両方を容易に拡張できる必要があります。その他の機能については、将来的なロールベースのアクセスコントロールの設定やプロビジョニング、アナリティクスモデルの実行方法など、ケースバイケースで検討する必要があります。

クラウドデータウェアハウスの評価には、いくつかの技術的な基準があります。

3. データ変換ツール

変換ツールは、変換先との互換性があり、バージョン管理や変換によるテーブルへの影響を説明する文書など、データの履歴を簡単に追跡できる機能を備えている必要があります。また、変換のオーケストレーションやスケジューリングができることも重要です。

4. BIツール・データ可視化ツール

一般的には、技術的な実装（ユーザーのための変数の定義など）、視覚化の柔軟性、ユーザーのアクセス性を考慮する必要があります。エンドユーザーがツールをセルフサービスで使用するかどうかなどの追加基準は、社内のデータ構造に依存します。以前、良いBIプラットフォームの見つけ方について書きました。

Q. 最新のデータスタックにアップグレードするタイミングは？

最新のデータスタックにアップグレードする必要がある一般的なユースケースは2つあります。大企業や古い企業は、クラウドに移行すべきオンプレミスのインフラを持っていることが多い。新興企業や中小企業が成長すると、小規模な手動またはアプリ内のレポートを置き換えるために、最新のクラウドベースのデータスタックを構築することがあります。

あまりにも遅れをとらないようにしましょう。最新のデータスタックは絶えず進化しており、アナリティクスをさらに高みへと導いてくれることでしょう。

データ統合

エンジニアリング・リソースが新しいデータ・コネクタを構築したり、既存のデータ・コネクタを維持したりアップグレードしたりするのにどのくらいの時間がかかるかを判断します。それが下流のアナリティクスのタイムラインにどのような影響を与えるか？また、時間とコストはどれくらいかかりますか？

今日の企業は、ビジネスを監視するために、リアルタイムまたはそれに近いデータモデルに移行しています。そのためには、最新のフルマネージドELTツールが必要になることが多いのです。

デスティネーション (データの移動先)

これは一般的に、コンピュータとストレージの使用量に関連しています。レガシーデータベースでは、ストレージの肥大化により頻繁にクラッシュしたり、昼休みにもかかわらずクエリを実行したりすることがよくあります。このような状況になったら、アップグレードの時期です。

クラウドへの移行プロジェクトに1年以上かかると回答した企業は73％にのぼりますが、拡張性と集中管理の容易さにはかないません。遅かれ早かれ、アップグレードしたほうがいいでしょう。

トランスフォーメーション（データ変換）

デスティネーションやデータ可視化ツールのネイティブ機能を利用して、反復可能なSQLスクリプトなどの変換機能を実行できる場合があります。規模の拡大と透明性の向上のためには、チームメンバーが技術的にアクセスできるデータ変換ツールの導入を検討すべきです。また、変換の履歴を追跡するためのバージョン管理などの機能を備えている必要があります。

BIインテリジェンス／データ可視化ツール

成功しているデータチームには、日々多くの質問が寄せられており、ビジネス・インテリジェンス・ツールはその答えを得るための入り口となっています。ステークホルダーがどのようにデータを利用するか（ビジュアライゼーション、ダッシュボード、レポートなど）、データへのアクセスを可能な限りセルフサービスにするためには何が必要かを検討します。

クラウドへの移行の最初のステップは、データを保存するクラウド先を選ぶことです。データのクラウド保存先への移行を検討されている方はぜひファイブトランまでご連絡ください。

この記事は英文から翻訳されました。オリジナルの記事はこちら（英語）からご覧ください。