thatDotがストリーミンググラフエンジンQuineをリリース

ストリーミングイベント処理に注力するオレゴン州ポートランドに拠点を置くスタートアップ企業 thatDot は本日、イベントストリーミングとグラフデータを組み合わせて同社が「ストリーミンググラフ」と呼ぶものを作成する、データエンジニア向けの新しい MIT ライセンスのオープンソースプロジェクトである Quine の立ち上げを発表した。

複雑そうに聞こえますが、それは確かに複雑であると同時に、比較的新しい概念だからです。DARPAの支援を受けた長年の研究に基づいて、Quineの背後にあるアイデアは、大量のデータストリームをステートフルなグラフに構築することです。Quineは（ご想像の通り）、論理学者ウィラード・ヴァン・オーマン・クワインにちなんで名付けられました。そして、チームが「スタンディングクエリ」と呼ぶものを使って、このグラフに対してクエリを実行します。これは基本的に、Quineが受信したデータに対するリアルタイムの計算であり、その後、他のアプリケーションにストリーム出力します。

「ストリーミンググラフは、まさに今業界が抱えている問題、つまり私たち全員が板挟みになっているような、まさに板挟み状態を解消するために開発されました」と、Quineの開発者であり、thatDotのCEO兼共同創業者であるライアン・ライト氏は語った。「一方では膨大な量のデータがあります。ここ10年でビッグデータはもはや必須となり、当たり前のものとして扱われ、ますます大きくなっています。しかし、もう一方では、膨大なデータをどのように解釈するかという問題があります。」

近年、データは移動中であることが非常に多く、多くのワークロードではレイテンシが問題となります。ライト氏は、オープンソースのイベントストリーミングプラットフォームであるApache Kafkaと、ストリーミングデータを分析するためのApache Finkを組み合わせた既存のソリューションでは、企業は数十人のエンジニアを投入して独自のデータプラットフォームとパイプラインを構築し、大量のデータを分析する必要があると主張しています。他の現代的なアプローチとしては、Neo4jやTigerGraphといったツールがあり、これらはグラフデータベースを開発者の間で普及させましたが、ライト氏は、これらはすべてデータベースの観点からこの問題に取り組んでいると主張しています。

「そのような考え方では、技術的な詳細や、高速化、容易化、スケーラビリティの実現といった従来の問題に縛られてしまいます。そのため、業界では大量のデータが入ってくる場合、グラフソリューションは遅すぎるため検討できないというのが通例です」とライト氏は述べた。ライト氏によると、現在のソリューションのほとんどは1秒あたり数千イベントの処理能力しかなく、Dotがターゲットとする顧客は1秒あたり25万イベントを処理できるソリューションを必要としており、ライト氏はQuineがそれを、そしてそれ以上のイベントを処理できると確信している。

「Quine を使用することで、何ページにもわたる複雑なカスタム ロジックと SQL クエリを、基礎となるイベントの変更ごとに更新されるストリームで計算されたロールアップ値に対するシンプルなクエリに置き換えました」と、Tripwire の主席エンジニアである Matt Splett 氏は述べています。

ライト氏と共同創業者兼COOのロブ・マルナティ氏によると、これらのユーザーはセキュリティ企業からオブザーバビリティ企業、ログ処理企業、フィンテック企業、広告会社、不正検知企業まで多岐にわたる。他のオープンソース企業と同様に、thatDotの使命は大規模なエンタープライズQuineユーザーをサポートすることですが、同社はQuineをプラットフォームとして活用し、その上に新たなソリューションを構築しています。