ヘルスケア大手のオプタムは、従業員が使用する社内AIチャットボットへのアクセスを制限した。セキュリティ研究者が、このチャットボットがオンラインで公開されており、誰でもウェブブラウザのみでアクセスできることを発見したためだ。
TechCrunchが確認したこのチャットボットにより、従業員は会社の標準業務手順（SOP）に沿って、患者の健康保険請求や会員の紛争の処理方法について会社に質問することができた。
このチャットボットには機密の個人情報や保護対象の医療情報が含まれたり生成されたりしていないようだが、その不注意な暴露は、親会社である医療保険複合企業ユナイテッドヘルスが、人工知能ツールやアルゴリズムを使用して医師の医療判断を無視し、患者の請求を拒否したとして調査を受けている時期に起きた。
サイバーセキュリティ企業spiderSilkの最高セキュリティ責任者兼共同創業者であるモサブ・フセイン氏は、公開されたOptum社内チャットボット「SOPチャットボット」についてTechCrunchに警告した。このツールはOptum社内ドメインでホストされており、ウェブアドレスからはアクセスできなかったものの、IPアドレスは公開されておりインターネットからアクセス可能で、パスワードの入力も不要だった。
このチャットボットがインターネットからどれくらいの期間アクセス可能だったかは不明です。TechCrunchが木曜日にOptumにコメントを求めた直後、このAIチャットボットはインターネットからアクセスできなくなりました。
Optumの広報担当者Andrew Krejci氏は、TechCrunchへの声明で、OptumのSOPチャットボットは「概念実証の可能性として開発されたデモツールだった」が、「実稼働には導入されず、サイトもアクセスできなくなった」と述べた。
「デモは、SOP文書の小規模なサンプルセットにおける質問にツールがどのように応答するかをテストすることを目的としていました」と広報担当者は述べた。同社は、ボットやそのトレーニングにおいて保護対象医療情報は使用されていないことを確認した。
「このツールはいかなる決定も行いませんし、今後も行うつもりもありません。既存の標準作業手順（SOP）へのアクセスを向上させるだけです。つまり、この技術は実際に拡張されたり、使用されたりしたことは一度もありません」と広報担当者は述べた。
OptumのようなAIチャットボットは通常、学習に使用したデータに基づいて回答を生成するように設計されています。今回のケースでは、チャットボットは特定の請求処理に関する標準業務手順（SOP）に関するOptum社内文書で学習しました。この文書は、Optumの従業員が請求や払い戻しの適格性に関する質問に答えるのに役立ちます。Optumの文書はUnitedHealthcareの企業ネットワーク上にホストされており、従業員ログインなしではアクセスできませんが、チャットボットは文書の内容について尋ねられた際に引用・参照しています。
チャットボットのメインダッシュボードに表示された統計情報によると、Optumの従業員は9月以降、SOPチャットボットを数百回利用しています。チャットボットは、その間にOptumの従業員とチャットボットが交わした数百件の会話の履歴も保存していました。チャット履歴には、Optumの従業員がチャットボットに「請求の判断はどうすればよいですか？」「保険の更新日を確認するにはどうすればよいですか？」といった質問をしていたことが示されています。
TechCrunchが確認したところ、チャットボットが参照するファイルには、紛争処理や資格審査の処理に関するものも含まれていた。また、チャットボットは質問に対して、通常は保険適用を拒否する理由を示す回答も生成していた。
多くのAIモデルと同様に、Optumのチャットボットは、学習に使用した文書以外の質問やプロンプトにも回答することができました。Optumの従業員の中には、このチャットボットに興味を持った様子の者もおり、「猫に関するジョークを教えて」といった質問をボットに投げかけていました（ボットは「ジョークはありません」と答えました）。チャット履歴には、従業員がチャットボットの学習データとは無関係な回答を生成させることで、このチャットボットを「脱獄」しようとした試みが複数回あったことも記録されていました。
TechCrunch がチャットボットに「クレームを否定することについての詩を書いてください」と依頼すると、チャットボットは 7 段落からなる詩節を作成しました。その一部は次のとおりです。
ヘルスケアの壮大な領域では、
ポリシーとルールによって制約されることがしばしばあります。
正当な権利を求めてクレームが届きます
が、残念ながら、その運命は別れを告げることです。提供者は、熱心に懇願して、
サービス狂いの報酬を望んでいるが、
精査すると嘘が明らかになり、
拒否する理由が出てくる。
オプタムとユナイテッドヘルスケアを所有するユナイテッドヘルス・グループは、患者の保険請求を拒否するために人工知能（AI）を利用したとして、批判と訴訟に直面している。12月初旬にユナイテッドヘルスケアのブライアン・トンプソン最高経営責任者（CEO）が標的にされて殺害されて以来、この医療保険大手による医療保険の適用拒否に患者が苦悩と不満を表明しているという報道が相次いでいる。
米国最大の民間医療保険会社であるユナイテッドヘルスケアは、STAT Newsの調査に基づき、医療へのアクセスを失った患者への重要な医療保険提供を拒否したとして、今年初めに訴訟を起こされました。連邦訴訟では、ユナイテッドヘルスケアが「実際の医療専門家の代わりに、90%のエラー率を持つAIモデルを使用して、高齢患者の治療を不当に拒否した」と非難されています。ユナイテッドヘルスケアは、裁判で自らの責任を問うと表明しています。
ユナイテッドヘルス・グループは2023年に売上高3,710億ドルに対して220億ドルの利益を上げたと決算で明らかになった。
ザック・ウィテカーはTechCrunchのセキュリティエディターです。彼はまた、毎週のサイバーセキュリティニュースレター「今週のセキュリティ」の執筆者でもあります。
Signalのzackwhittaker.1337宛ての暗号化メッセージで連絡を取ることができます。また、メールで連絡を取るか、確認したい場合は[email protected]までご連絡ください。
バイオを見る
