Definityはデータアプリケーションの観測可能性の変革を目指して450万ドルを調達

現代の企業はデータに基づいて運営されていますが、データを移動させ、特定のアプリケーションで使用できるように適切な形に整えることは、依然として複雑な作業です。水曜日にステルス状態から脱却し、450万ドルのシードラウンドの資金調達を発表したDefinityは、これらの企業にデータパイプラインを監視、修正、最適化するためのツールを提供したいと考えています。

ここでのひねりは、多くの競合他社とは異なり、データが変換されてどこかに保存された後（その時点では問題が発生した場合のトラブルシューティングが困難になります）だけでなく、データがまだ移動中も調べるという点です。

このスタートアップは幅広い環境をサポートしていますが、Apache Sparkベースのアプリケーション（オンプレミス、またはGoogle Dataproc、AWS EMR、Databricksなどのマネージドサービス上）に重点を置いています。これは、共同創業者全員がオープンソースのデータ処理エンジンに豊富な経験を持っていることを考えると、当然のことと言えるでしょう。CTOのオハッド・ラビブ氏はSparkの貢献者であり、PayPalでビッグデータ技術を担当した経験があります。CEOのロイ・ダニエル氏は以前FISに勤務し、R&D担当副社長のトム・バーヤコフ氏はPayPalでデータエンジニアリングマネージャーを務めていました。

ダニエル氏はインタビューで、同社がパイプラインのデータ取り込み部分ではなく、データレイクやデータウェアハウス上のデータ変換プレーンに重点を置いていることを強調しました。これらの大企業で働いていたチームが経験した問題には、データの不整合、スキーマ変更、古いデータによって引き起こされるデータ品質の問題などがありました。「これらは下流に波及するデータ品質の問題です」と彼は言います。「現在古いデータに基づいて動作しているモデルであれ、ダッシュボードやBIが壊れていて突然CFOが『一体何が起こっているんだ？』と困惑するなど、ビジネスに影響を及ぼします。」

もう 1 つの問題は、単に壊れて失敗し、その後再実行されるデータ パイプラインと、最適化されていないために必要以上に処理コストがかかってしまうパイプラインです。

「共通の友人を通して知り合いました」とダニエルは、創業チームがどのようにして出会い、この特定の問題に取り組むことを決めたのかを尋ねた際に答えました。「私たちは皆金融サービス業界出身ですが、最初のミーティングで、実は同じ問題にコインの裏表から立ち向かい、困難に直面していることに気づいたんです。それがきっかけで、『これは何か対策を講じるべきだ』と思ったんです」

Definityの優れた点は、移動中のデータを監視する点です。これにより、問題を発生源で直接検出できるため、パイプラインのトラブルシューティングと最適化が容易になります。最終結果しか得られない場合、問題の根本原因を診断することは不可能ではないかもしれませんが、問題に至るまでの様々なステップをすべて確認できれば、はるかに容易になります。これはつまり、例えば入力データが破損している場合、Definityはパイプラインの実行を完全に停止できることを意味します。