非技術系リーダーが理解すべき機械学習の5つの基本事項

テッククランチイベント

MLの採用においては、可能な限り専門家を採用するだけでなく、人材ニーズを満たすためにトレーニングがどのように役立つかを検討しましょう。現在のソフトウェアエンジニアチームをデータ/MLエンジニアへとスキルアップさせるか、有望な候補者を採用し、ML教育を提供することを検討してください。

こうした採用上の課題を克服するもう 1 つの効果的な方法は、主に次のような点を中心に役割を定義することです。

• 製品：技術的な好奇心と優れたビジネス／製品感覚を持つ候補者を探します。このフレームワークは、最も洗練されたモデルを適用する能力よりも重要である場合が多いです。
• データ: モデルの選択、機能の設計、データ モデリング/ベクトル化の処理、結果の分析を支援できる候補者を探します。
• プラットフォーム/インフラストラクチャ: データおよびエンジニアリング チームの生産性を大幅に向上させるプラットフォーム、抽出、変換、ロード (ETL)、ウェアハウス インフラストラクチャ、ML の CI/CD フレームワークを評価、統合、構築する人材を求めています。

もう一度、トレーニングの力について考えてみましょう。適切な好奇心と興味を持つエンジニアは、必要な ML エキスパートになることができます。

業界のアドバイザーや学者と定期的に交流することで、チームに機械学習への最新かつ優れたアプローチに関する最新情報を提供することができます。質の高いブートキャンプは、チームのスキルアップに非常に効果的です。

2. 組織構造

大規模な組織内で ML チームの役割を最適に構築する方法は、ビジネスの効率性と予測可能性に影響を与える重要な決定であり、会社の段階と規模に応じて決定する必要があります。

初期段階（メンバー25名未満）：この規模では、共有の中央チームを編成することが、インフラストラクチャの構築と組織の準備を整える最も安全かつ迅速な方法です。初期段階では、MLチームはエンジニアリングチーム全体の10%～20%を占める必要があります。

中期段階（メンバー数25～500名）：中期段階では、垂直統合型チームに注力するのが最善です。Gavish氏は垂直統合型MLチームの大ファンです。「解決すべき問題を深く理解できるという点で、垂直統合型MLチームには大きな利点があるからです。」

垂直統合により、中期段階の ML プロジェクトはより長期化し、不確実性が高まる傾向があるため、持続的な焦点と優先順位付けが可能になります。

成熟期（メンバー500名以上）：この段階では、MLプラットフォーム／インフラチームを別途設置する必要があります。例えば、Squareは2,500名以上のエンジニアリング組織で、100名以上のデータサイエンティストとMLエンジニア、そして15名以上のMLプラットフォーム／インフラエンジニアを擁しています。MLチームは、特定のテクノロジーではなく、チャットボット、リスク／不正検知などの個々の事業部門と連携しています。また、社内の他のチームと共有できるMLプラットフォーム／インフラチームも存在します。

ただし、開発中の製品やサービスにとって ML がどの程度重要かによってチームの規模は異なることに注意してください。

3. MLパイプライン

MLパイプラインのデプロイとメンテナンスは、一般的なソフトウェアのデプロイとメンテナンスとそれほど変わりません。モデルの構築、チューニング、テスト、検証、バージョン管理、そしてモニタリングに関して、MLの知識が求められます。

ML パイプラインを正常に構築、デプロイ、保守するための主な手順は次のとおりです。

• 製品の問題を定義し、ML の適合性を判断します。
• データセットを改良します。
• データの問題とモデルの欠点を認識して分離します。
• モデルをテスト、デバッグ、バージョン管理します。

既製のソフトウェアを使用することは、コストを削減し、高度なスキルと専門知識を持つ ML エンジニアへの依存を減らす非常に効果的な方法ですが、意図せず整理されていないスパゲッティ ソリューション スイートを作成し、保守が困難にならないように注意する必要があります。

業界はまだ黎明期ですが、Databricks、AWS SageMaker、Tecton、Cortexなどのツールは時間とリソースの節約に役立ちます。プラットフォームとライブラリに関しては、TensorFlow、PyTorch、Keras、Scikit-learn、Pandas、NLTKなど、市場には競合ソリューションが数多く存在します。

4. 指標と評価

機械学習における主要な課題は信頼性です。モデルをデプロイする前に、適切なパフォーマンスを発揮していることをどのように確認すればよいでしょうか？本番環境のパフォーマンスを監視し、問題のトラブルシューティングを行うにはどうすればよいでしょうか？その解決策はソフトウェアエンジニアリングとほぼ同じです。つまり、可観測性です。

アプリケーションのパフォーマンスを監視および追跡することは非常に重要です。Hadassは、その方法を理解するために、Emmanuel Ameisen著の「Building Machine Learning Powered Applications」を推奨しています。

ベースライン（機械学習なし）よりも優れたパフォーマンスを発揮し、安定性とセキュリティを兼ね備えたモデルであれば、本番環境に導入しても問題ないはずです。フレームワークとしては、完璧さよりも反復性を重視します。

機能フラグを使用してモデルをロールアウトすることは安全であり、災害が発生する前に迅速に機能を停止できます。本番環境でモデルのA/Bテストを通じて複数のバージョンを実行できるため、新しいモデルへの信頼性が大幅に向上し、全体的な信頼性が向上します。

優れたデータセットは必須です。綿密に作成され、実際の運用シナリオを反映したものでなければなりません。過去のデータセットを遡って、以前のバージョンのモデルによる予測と比較できるシステムを構築してください。

良いモデルと悪いモデルに関する懸念に対処するには、次のような指標と評価が必要です。

• エンドユーザーにとっての有用性。
• データセキュリティ。
• モデルの安定性。
• 予測と推奨事項の実用性。
• モデルがなぜその推奨を行ったのかを説明する機能。

5. よくある落とし穴

最初に読むと、これらの落とし穴のいくつかは常識のように思えるかもしれませんが、チームが重要な瞬間に最善の決定を下せるように導くのに役立つため、繰り返し述べて熟考する価値があります。

しないでください:

• 単純な一連の手順など、ML に適していない問題に ML を適用します。
• すぐに結果が得られます。インパクトのある機械学習では、確実な結果を得るには忍耐と反復が必要です。
• 製品の成功指標に十分な注意を払わずに、モデルの成功指標に焦点を当てます。
• ツールとインフラストラクチャのコストを過小評価すると、エンジニアリングの進捗が遅くなります。

過去10年間で、MLはテクノロジーアクセラレータとしての地位を確立しました。自動化を推進し、収益性と成長を高める上で不可欠です。そのため、リーダーはMLを理解し、活用し、MLテクノロジーの驚異的な進歩に遅れずについていく必要があります。

ML チームをビジネスに効果的に統合するには、適切な候補者の条件を理解し、速度と集中力を最大限に高めるためにチームを構成する方法を理解することから始まります。

リーダーは、モデルが本番環境に導入される前に、チームが統合された可観測性と監視機能を備えたエンドツーエンドのモデルを構築できるよう指導することに重点を置くべきです。モデルの評価は、モデルの成功ではなく、製品の成功に基づいて行うべきです。高ストレスの状況下で陥りやすい落とし穴を回避するために、モニタリングを意識的に行い、業界の専門家や学者と積極的に連携して、チームが最新の開発状況を把握できるようにしましょう。

小さな問題を解決するには、日常のLittle AIに頼る