TROCCOの機能は以下になります。
データ転送(ETL)
TROCCOは、高速かつ簡便なデータ転送・統合をサポートしています。
わずか5分程度で、GUIを用いて転送元と転送先を設定し、
スキーマの自動推論によって複雑な設定が不要です。
また、Reverse ETLにも対応しており、加工されたデータをCRMや
広告コンバージョンAPIなどの外部アプリケーションに自動転送することで、
データ活用の幅を広げます。デプロイ前にはテスト実行が可能で、
運用開始前にデータを検証できる点も強みです。
スキーマ変更への対応
TROCCOはデータソース側のスキーマ変更を自動検知し、
転送先のBigQueryにその変更を自動で反映します。追加・削除やデータ型の
変更にも柔軟に対応し、空の値を含む複雑なデータ処理も簡単に行えます。
また、Slackなどの外部ツールへの通知機能があり、スキーマ変更があった場合に即座に対応できます。
マネージドデータ転送
データソース内の複数のテーブルを一括してインポートする機能により、
テーブル単位でカラム設定を行いながら、大規模なデータを効率よく転送できます。
テーブルの増減も自動で検知し、2ステップでETLパイプラインを最新状態に維持します。
また、複数のテーブルを一つのワークフロータスクとして実行できるため、
大規模なデータ運用にも適しています。
ETL(データ変換)
ETLプロセスでは、TROCCOはGUI上でテンプレートに基づいたETL処理と、
RubyやPythonなどのプログラミング言語を使った柔軟なカスタム処理を
サポートしています。例えば、データのマスキング、SHA256によるハッシュ化、
正規表現を使った文字列置換、JSON展開など、
様々なデータ変換オプションを備えています。
これにより、ニーズに合わせた柔軟なデータ整備が可能です。
ワークフロー管理
TROCCOは、直感的でシンプルなGUIにより、データ処理ジョブの依存関係や
スケジュールを容易に管理できるワークフロー機能を提供しています。
再試行、並列実行制御、ループ実行などの高度なタスク管理機能を持ち、
ビジネスインテリジェンス(BI)ツールやデータバリデーションの
タスクを効率的に運用するためのタスクも統合可能です。
Git連携とバージョン管理
TROCCOは、設定内容をYAML形式でGitHubにPushできるため、
データ基盤の設定もInfrastructure as Code(IaC)の一環として管理可能です。
変更内容のPull Requestを作成し、チームでレビューできるため、
バージョン管理や変更の追跡が容易に行えます。
セキュリティ機能
セキュリティに関して、TROCCOはネットワークの安全性を確保するための
様々な対策を提供しています。データ転送は暗号化通信によって保護され、
転送ごとに専用サーバを起動することで、他のデータと混在することなく
安全に処理されます。さらに、AWS PrivateLinkを利用してインターネットを
経由せずにデータ転送が可能となるオプションも提供されており、
厳しいセキュリティ要件にも対応可能です。
データ管理と活用(データマート生成)
TROCCOは、SQLを用いたデータ変換機能を提供し、DWH内のデータを
加工・集計してデータマートを作成できます。また、定期的にクエリを
実行することで、データ分析の自動化を進め、レポート作成や名寄せ、
不要データの排除なども簡単に行えます。