Kongの新しいオープンソースAIゲートウェイにより、マルチLLMアプリの構築が容易になります

APIベンダーのKongは、オープンソースのAIゲートウェイをリリースします。これは既存のAPIゲートウェイを拡張したもので、開発者と運用チームはアプリケーションを1つ以上の大規模言語モデル（LLM）と統合し、単一のAPIを介してそれらにアクセスできるようになります。さらにKongは、迅速なエンジニアリング、認証情報管理など、AIに特化した複数の機能もリリースします。

「AIはAPIの新たなユースケースだと考えています」と、Kongの共同創業者兼CTOであるマルコ・パラディーノ氏は語った。「APIはモバイルやマイクロサービスといったユースケースによって推進されていますが、AIはたまたま最新のユースケースです。AIについて考えるとき、私たちは実にあらゆる場所でAPIに注目しています。AIの利用においてAPIに注目し、AIを微調整するためのAPI、そしてAIそのものに注目しています。[…] ですから、AIが増えれば増えるほど、世界中でAPIの利用が増えることになるでしょう。」

パラディーノ氏は、ほぼすべての組織がAIの活用方法を検討している一方で、データ漏洩を懸念していると主張しています。最終的には、これらの企業はモデルをローカルで実行し、クラウドをフォールバックとして利用するようになるだろうと彼は考えています。しかし当面は、クラウドベースのモデルにアクセスするための認証情報の管理、トラフィックの制御とログ記録、クォータ管理などについても検討する必要があります。

「当社のAPIゲートウェイでは、開発者がコードを変更することなく、ゲートウェイを活用して1つまたは複数のLLMプロバイダーを利用できるようにすることで、AIベースの開発における生産性を向上させるサービスを提供したいと考えました」と彼は述べた。ゲートウェイは現在、Anthropic、Azure、Cohere、MetaのLLaMAモデル、Mistral、OpenAIをサポートしている。

Kongチームは、他のほとんどのAPIプロバイダーが現在、AI APIを他のAPIと同じ方法で管理していると主張しています。しかし、これらのAI固有の追加機能をAPIの上に重ねることで、新たなユースケースが実現可能になる（あるいは少なくとも既存のユースケースの実装が容易になる）とKongチームは考えています。新しいAIゲートウェイの一部であるAIレスポンスおよびリクエストトランスフォーマーを使用することで、開発者はプロンプトとその結果をリアルタイムで変更し、例えば自動的に翻訳したり、個人を特定できる情報を削除したりすることができます。

プロンプトエンジニアリングもゲートウェイに深く統合されており、企業はこれらのモデルに基づいて独自のガイドラインを適用できます。これは、これらのガイドラインとプロンプトを管理するための一元的なポイントが存在することを意味します。

Kong API管理プラットフォームのローンチから約9年が経ちました。当時、現在のKongはMashapeという社名でしたが、Mashape/Kongの共同創業者兼CEOであるAugusto Marietti氏が今週初めのインタビューで語ったように、これはいわば土壇場の試みでした。「Mashapeは行き詰まっていたのに、KongはGitHubでナンバーワンのAPI製品になったのです」と彼は語りました。Marietti氏によると、Kongは前四半期にキャッシュフローが黒字で、現在は資金調達を検討していないため、これは非常にうまくいったとのことです。