Confluent、ビジュアルストリーミングデータパイプラインデザイナーをリリース

オープンソースのApache Kafkaプロジェクト上にストリーミングサービスを構築したConfluent社は、企業によるデータストリームのキャプチャを支援することに常に注力してきました。当初はオンプレミスで、その後クラウドに移行しました。ストリーミングサービスをクラウドに移行することで、基盤となるインフラストラクチャの管理に伴う多くの複雑さを抽象化することができました。

本日、Currentカンファレンスにおいて、同社はStream Designerという新しいツールを発表しました。このツールは、視覚的なワークフローでストリーミングデータパイプラインを容易に構築できるようにします。ユーザーは、一連のデータコンポーネントを簡単に接続して、カスタマイズされたデータストリームを構築できます。Confluentはバックグラウンドでコーディング処理を行い、抽象化をインフラストラクチャから設計へとスタックの上位へと移行させます。

同社の共同創設者兼 CEO である Jay Kreps 氏は、このサービスは依然として開発者を対象としているものの、Apache Kafka の専門家以外の多くの人々にもストリーム設計を提供することが目標であると述べています。

「私たちは引き続きあらゆるタイプの開発者にサービスを提供していますが、このサービスによって、クリックするだけでデータパイプラインを構築し、さまざまなものを接続、変換、送信できるようになります。また、このサービスは、基盤となる同じストリーミングインフラストラクチャを継承し、その上で動作します。つまり、すべてのデータストリームは再利用可能で、すべてリアルタイムであり、水平方向に拡張可能です」とクレプス氏はTechCrunchに語った。

プログラムが開発者向けに基盤となるコードを作成するものの、それを扱う必要がある開発者はアクセス可能であると彼は述べています。「この方法の素晴らしい点の一つは、コードを一切書く必要がないにもかかわらず、すべてのコードがそこに存在していることです。裏で何が行われているのかを正確に把握できます。このデータに対してどのようなSQL変換を行うのかを正確に把握できるため、必要に応じて既存の開発者ツールチェーンと連携できます」と彼は述べています。

クレプス氏にとって、これはすべてKafkaの進化の一部です。KafkaはもともとLinkedInで膨大な量のデータを移動するために考案されたプロジェクトです。当初は高度な技術を要する取り組みでしたが、時が経つにつれ、同社は組織内のより多くの人々にとってよりアクセスしやすいものにしようと努めてきました。

同社は、Stream Designer に加えて、データが正しく使用され、許可されたユーザーのみがデータを閲覧できるようにする Stream Governance も発表しています。