AIプロジェクトを始める最良の方法は？モデルについて考えないこと

テッククランチイベント

例えば、生産ラインにスマート欠陥検査を組み込みたい工場では、機械に搭載された1台のカメラを数分間使用することで、AIプロジェクトのデモを迅速に実施できます。しかし、プロジェクトを本番環境に導入し、日常的に使用するには、1台のカメラによるデモを24時間365日稼働する500台のカメラに移行する必要があります。デモでAIがもたらす価値を最終的に実現するには、数ヶ月、あるいは数年かかる可能性があります。

もちろん、経営幹部は解決したい問題とビジネスケースを明確に念頭に置いておく必要があります。しかし、AIコアチームには、少なくとも3つのペルソナ、すなわちデータサイエンティスト、データエンジニア、そしてドメインエキスパートを含める必要があります。これらはすべて、プロジェクトの成功にとって同等に重要です。

データ中心のキックオフ

奇妙に聞こえるかもしれませんが、組織内で成功する最初のAIプロジェクトには、アルゴリズムや高度なAIモデルは不要です。AIとは本質的に、知識を自動化する取り組みです。あらゆる自動化の取り組みと同様に、まずは手動で、時間がかかり、スケーラブルではない方法で、いくつかの例の価値を示すことから始めるのが良いでしょう。

キックオフでは、データエンジニアがデータを用いていくつかのケーススタディを作成し、ドメインエキスパートがこれらのケーススタディを事例へと変換します。このステップはAIプロセスの核心部分を明らかにします。ビジネス側は生データと目標を持ち、理想的な出力データである事例を取得したいと考えるようになります。

このプロセスはデータ開発と呼ばれ、モデリングを伴わないため、本質的にデータ中心のアプローチです。このアプローチは、モデルファーストのアプローチに比べて多くの利点があります。

• 必要な投資も少なくて済みます。
• 組織の強み (プロセス、データ、ドメインの専門知識) を活用します。
• それはより速いです。
• リスクが軽減されます。

いくつかの例が手動で完了すると、企業は AI の生産への道筋を計画し始めることができます。

計画の策定

前のセクションで概説した手動フェーズでは、コードの最初の行が書かれる前であっても、AIプロジェクトが直面する多くのデータ上の課題が明らかになります。これらの問題には以下が含まれます。

• データが正しくありません。
• データが見つかりません。
• データ収集の課題。
• コーナーケースと決定境界の問題。
• データ構造: 入力と出力 (スキーマ)。

さらに重要なのは、これらの課題を明確にすることで、データサイエンティストがより適切な計画を立てられるようになることです。データサイエンティストはアルゴリズム開発者と協力し、プロジェクトに必要な労力、複雑さ、そしてコストを的確に見積もることができるようになります。これらの洞察は、ビジネスやAIが提供できる潜在的な価値に関する大まかな説明ではなく、実際のデータ例に基づくものになります。

このプロセスが適切に実行されれば、多くの課題と要件が既に予測されているため、最小限の労力で堅実なAI計画を策定できます。適切な組織プロセス、チーム、データソースを整備することで、データフライホイール効果を可能な限り迅速に実現できます。

企業は、データ管理システム、データ アプリケーション、データ パイプライン、モデル管理、および人材管理など、高速で正確かつコスト効率の高い AI 開発に適したコンポーネントを備えた技術スタックの構築に重点を置く必要があります。

データフライホイール効果の計画

データ中心のシステムを構築するには、初日からデータフライホイール効果（最も強力なAIアプリケーションの基本原理）を考慮した計画を立てる必要があります。AIシステムは本質的に学習システムであるため、企業は、ユーザー、顧客、導入環境、ユースケースの増加に伴い、AIシステムが迅速かつ費用対効果の高い方法で学習し、適応していくことを想定する必要があります。

データフライホイール効果を計画することは、ある時点で適切に機能するAIモデルではなく、学習システムを計画することです。AIが最大限の能力を発揮するために必要なデータのほとんどは、開発チームが入手できません。こうしたデータは、ユーザー、顧客、マシン、データベースを通じて、運用中に徐々に流入してきます。これは「鶏が先か卵が先か」という問題を引き起こします。企業は機能的なモデルを提供するために運用データを必要としますが、運用環境に移行するにはモデルが存在している必要があります。

上記の問題は、ラボで正しく解決されたケースを検証することで解決できます。ただし、ラボモデルは、デプロイごとにキャリブレーション期間を経るまでは、本番環境データで動作しません。これにより、モデルの出力を本番環境データで迅速にテストし、再トレーニングすることができます。このプロセスは、新しいデプロイごとに繰り返され、AIモデルの速度と精度を徐々に向上させます。

データ フライホイール効果とは、本質的には、モデルの過剰適合を反復的に削減し、デプロイメントごとに学習を高速化して精度を高めながら、一度に 1 つのデプロイメントを適切に解決する方法をモデルに教える手法です。

ループを閉じるには何が必要ですか?

本質的に、データフライホイール効果とは、初期チームによる手作業の自動化です。ケースの収集、自動化（モデル）の実行、データの検証、そして誤った結果が次のモデル学習サイクルに追加されます。これはデータトレーニングと呼ばれます。

それを構成要素ごとに分解してみましょう。

事件

企業は、単一のケースの明確なスキーマ（データ型、プロパティ、メタデータ、ファイル、そして想定される出力構造）を定義する必要があります。途中でスキーマを変更するとコストが膨大になるため、チームは早い段階でこの領域に十分な注意を払う必要があります。

データ収集

単一のデータケースに、複数の異なるソースからのデータが含まれることは非常に一般的です。データ収集プロセスは基本的にETL（抽出、変換、ロード）プロセスであり、各データケースはドメインエキスパートまたはモデルによって収集され、処理のために準備されます。

推論

次のステップでは、準備したケースでモデルを実行し、結果を取得します。

検証

ここでは、ドメインエキスパートが適切なツールを用いて、ケースとモデル結果の精度を手動で検証します。誤ったモデル結果が検出されると、そのケースはトレーニングデータセットに送られ、次のモデル学習サイクルに組み込まれます。

トレーニング

十分な数の新しい例が収集されたら、新たな学習サイクルで新しいモデルが生成されます。学習結果は過去のすべてのデータと比較し、モデルが新しいケースでパフォーマンスを向上させる一方で、過去のケースではパフォーマンスが低下することを確認する必要があります。評価に合格すると、モデルはデプロイされ、データループが閉じられます。

人間と機械学習が連携できるようにする

上記のフローは、AIの未来は人間に取って代わることではなく、人間と人間の間に継続的な相乗効果を生み出すことであることを示しています。AIは自動化、スピード、低コストを提供し、ドメインエキスパートはモデレーターとして機能し、絶えず変化する環境においてAIを常に正しい結果へと導きます。

新しいシナリオから継続的に学習し、適応できるリアルタイム検証を提供するには、システムへの人間による入力が必要です。ワークフローにヒューマン・イン・ザ・ループ（HITL）モデルを組み込むことで、最初からエラーを最小限に抑え、信頼性が高く費用対効果の高いトレーニングデータのスループットを実現できます。

データのアノテーションと検証におけるエラーの大部分は、スキーマが頻繁に変更される定義とオントロジーの段階で発生します。企業は、ビジネスプロセスやデータ自体の構造を軽視してAI技術に着手するケースが多々ありますが、これらは最終結果に大きな影響を与えます。

これがあなたのビジネスに何を意味するか

AIはあらゆる業界に影響を与える力を持っています。小売、農業、自動運転車などにおいて、AIはすでに重要な役割を果たしています。企業は独創的な新しいAIソリューションの開発に競い合っていますが、AIを実用化するための基礎が未整備です。

最初から適切な計画を立てることで、AIプロジェクトを成功に導くための時間とコストを節約できます。データ中心の計画は初日から始まります。AI開発の正しい道を歩んでいることを確認する最良の方法は、モデルについて考えずにAIプロジェクトを開始することです。