英国のMHRAはバビロン・ヘルスについて「懸念」を表明し、トリアージチャットボットに関する法的欠陥を指摘した。

テッククランチイベント

腫瘍専門医の彼は、2017年2月という早い時期から、英国の医療規制当局（CQC/MHRA）に対し、バビロンについて懸念を表明し始めました。当初の懸念は、規制当局への書簡で彼が述べているように、「確固とした臨床試験や検証が明らかに欠如している」というものでした。しかし、バビロンが問題を否定し、批判者への攻撃を続ける姿勢を見せたことで、彼の懸念は高まりました。

医療機器規制当局がワトキンス氏の懸念はすべて「正当」であり「我々も共有しているもの」であると認めたことで、バビロン社の言い逃れ的な広報戦術は完全に的外れなものとなった。

「バビロン社は常に規制要件を遵守してきたとは言えません。時には遵守していなかった時期もありました。システム開発の過程において、様々な段階で遵守していなかったのです」とワトキンス氏は語り、さらにこう付け加えた。「バビロン社は安全性に関する懸念を、本来あるべきほど真剣に受け止めていませんでした。そのため、この問題は3年以上も続いています。」

この間、同社は世界中の医療提供者と幅広い「デジタル化」契約を締結し、着実に前進してきた。その中には昨年、英国ウルヴァーハンプトン市と30万人にリーチすることを目的とした統合アプリを提供する10年契約も含まれている。

同社はまた、ルワンダ政府と10年間の契約を締結し、デジタルトリアージを含む医療システムのデジタル化を支援しています。また、米国、カナダ、サウジアラビアにも進出しています。

バビロン社は、現在2,000万人以上の患者をカバーし、世界中で800万件の診察と「AIインタラクション」を実施してきたと述べている。しかし、医療機器メーカーに期待される高い水準で事業を展開しているのだろうか？

バビロン・ヘルスは、AIベースのヘルスケアサービスを拡大するため、評価額20億ドル超で5億5000万ドルの資金調達を確認した。

安全性、倫理、ガバナンスに関する懸念

昨年9月24日にワトキンス氏と英国医療機器規制当局との間で行われたビデオ通話の10月22日付の書面による要約で、ワトキンス氏は話し合われた内容を次のように要約している。「私は文書に概説された各ポイント、具体的には誤解を招く主張、危険な欠陥、そしてバビロン社による安全性の問題の否定/隠蔽の試みについて話し合い、詳しく説明しました。」

この会議の記録の中で、ワトキンス氏は次のように報告している。「バビロン社の企業行動とガバナンスは、医療機器/ヘルスケア提供者に期待される基準を下回っているという点で、一般的な合意があったようだ。」

「バビロン・ヘルスは（英国の保健相マット・ハンコック氏との関係を考えると）寛大な処置は受けないと知らされた」と彼は要約の中で述べている。これは、ハンコック氏がバビロンの「GP at hand」アプリを熱心に利用していることを公言していることに言及している（このアプリで2018年に大臣規範違反で告発された）。

ワトキンス氏が昨年まとめ、規制当局に送付した別の文書では、懸念事項として14項目が詳述されている。その中には、バビロンチャットボットのトリアージの安全性、製品を宣伝するために行った宣伝文句と矛盾する「誤解を招きやすく矛盾した」利用規約、そして同氏が「多数の倫理的およびガバナンス上の懸念」と呼ぶもの（その技術の安全性と有効性について懸念を表明する人に対する攻撃的な対応など）などが含まれている。

これには、昨年私たちが報じたワトキンス氏自身に対する公開攻撃キャンペーンや、同氏が文書の中で「調査やメディアによる不利な報道を避けるための法的脅迫」として挙げているものも含まれる。

ここで彼は、2018年に彼が提起した安全上の懸念（HSJによって報道されていた）に対するバビロンの対応もまた攻撃的なものとなり、当時同社は「既得権益者」が「私たちを破綻させよう」として「虚偽の主張」を広めていると主張していたと指摘している。

AIチャットボットメーカーのBabylon Healthは、安全性に関する懸念を公にした臨床医をPR活動で攻撃した。

「申し立ては虚偽ではなく、バビロン社が自社の評判を守るために患者を危害のリスクにさらし、HSJの読者を誤解させることを選んだことは明らかだ」とワトキンス氏は規制当局への関連コメントで述べている。

彼はさらに、2018年5月にMHRAが独自にBabylon Healthに対し、同社のチャットボットの安全性に関する2件のインシデント（心臓発作の症状の見逃しと深部静脈血栓症の症状の見逃し）を通知していたにもかかわらず、同社は翌月、HSJの報告書（「Babylonの『チャットボット』に関する懸念を安全規制当局が調査」というタイトル）を公然と否定したと指摘している。

ワトキンス氏が文書で提起する、より広範なガバナンスと運用上の懸念には、バビロン社による従業員の秘密保持契約（NDA）の使用（同氏は、このことが社内に、従業員が安全上の懸念を一切表明できない文化を生み出していると主張している）と、同氏が「不十分な医療機器監視」（バビロン社のボットはトリアージ後の患者の転帰に関するフィードバックを定期的に要求していないと述べ、「堅牢なフィードバック システムが存在しないことで、有害な転帰を特定する能力が著しく損なわれている」と主張している）が含まれる。

スタッフの率直な意見についてですが、興味深いのは、執筆時点でBabylonのGlassdoor評価がわずか2.9星であることです。友人に同社を勧めると回答したレビュアーは少数派で、CEOとしてのパーサ氏の支持率も全体でわずか45%にとどまっています。（「技術が時代遅れで欠陥がある」と、カナダのバンクーバーで臨床オペレーションアソシエイトとして勤務するBabylon Healthの現従業員であるGlassdoorのあるレビュアーが書いています。バンクーバーではプライバシー規制当局が同社のアプリについて調査中です。1つ星のレビューで挙げられた欠点の中には、「患者の健康が優先事項として見なされていない。医療にとってまさに冗談だ。避けた方が良い」という主張があります。）

ワトキンス氏がMHRAとのオンライン会議について報告したところによると、規制当局はNDAが「問題あり」であり、従業員が安全問題について発言する能力に影響を与えることに同意したという。

彼はまた、バビロンの従業員が法的脅威のために声を上げることを恐れている可能性が認識されていたと記している。さらに、彼の議事録には、「MHRAは匿名で提起された懸念事項を調査することができるというコメントがあった」と記されている。

バビロンに関する懸念をまとめる中で、ワトキンス氏は同社が2018年にロンドンでチャットボットのプロモーションのために開催したイベントにも言及している。そのイベントでワトキンス氏は、同社のAIが「トップクラスの臨床医と同等の」健康アドバイスを生成するなど、数々の「誤解を招く主張」が行われたと書いている。

この派手な主張は、ボットの能力に関する誇張した見出しの嵐を招き、バビロンがさらなる資金を集めるために投資家に売り込んでいたと思われる時期に、誇大宣伝を生み出すのに役立った。

ロンドンを拠点とするこのスタートアップは、2019年にサウジアラビアの公共投資基金や米国の大手健康保険会社（名前は伏せられている）、保険大手ミュンヘン再保険のERGOファンドなどの投資家から5億5000万ドルもの巨額のシリーズCラウンドを調達し、評価額が20億ドル以上になった。当時、この調達額はデジタルヘルスサービスとしては欧州や米国で過去最大の規模だと大々的に宣伝された。

「バビロン・ヘルスは、AIテストイベントで行った誤解を招くような主張（この主張は報道を促し、現在も一部の管轄区域で自社のウェブサイトでプロモーションツールとして利用されている）を撤回したり、訂正しようとしたりしたことは一度もないことに留意すべきだ」とワトキンス氏は規制当局に書簡で述べている。「したがって、バビロンの未検証の医療機器に人々が過度の信頼を寄せてしまうリスクは依然として存在する。」

彼は要約の中で、バビロンで働いている（または働いていた）と主張する複数の人物からの匿名の書簡も掲載しており、そこにはさらにいくつかの主張が記されている。「投資家からはリターンを示すよう強いプレッシャーがかかっている」と、そのうちの1通は書いている。「リターンを阻害するものはすべて回避可能だと考えられている」

「バビロン・ヘルスに対する申し立ては虚偽ではなく、患者の安全のために誠意を持って提起されたものです」と、ワトキンス氏は規制当局への要約の中で主張している。「バビロンが私個人を積極的に信用失墜させようと『繰り返し』試みたことは、同社の企業文化と医療提供者としての信頼性に深刻な疑問を投げかけます。」

MHRAはワトキンス氏に宛てた書簡（下のスクリーンショット）の中で、「あなたの懸念はすべて正当なものであり、私たちも共有しているものです」と述べている。

さらに、彼が「自分自身にかなりのリスクを負って」個人的にも公的にも問題を提起したことに感謝の意を表している。

MHRAがワトキンス氏の懸念を認めたことについて、バビロン社にコメントを求めたが、本稿執筆時点では返答がない。

このスタートアップ企業はHSJに対し、事業を展開している国々の規制当局の現地要件をすべて満たしていると語り、「バビロンは患者の安全に関しては最高水準を維持することに尽力しています」と付け加えた。

昨年、前述の攻撃的な事件があったが、バビロンはプレスリリースを発表し、ワトキンス氏を「荒らし」と呼び、同社のチャットボットが行うトリアージの安全性の問題を指摘するために同氏が行っていた取り組みの信用を失墜させようとした。

また、同社の技術は「NHSにより安全なサービスとして10回検証」されていると主張した。

バビロンがここで言及していた検証プロセスが何なのかは明らかではない。また、ワトキンス氏はMHRAとのやり取りの中でその主張にフラグを立てて疑問を呈し、「私の知る限り、バビロンのチャットボットは検証されていない。そうだとすれば、同社のプレスリリースは誤解を招くものだ」と書いている。

一方、MHRAの書簡は、英国におけるソフトウェアベースの医療機器製品に対する現在の規制体制は、バビロンのチャットボットのようなソフトウェア駆動型の「ヘルステック」機器を適切にカバーしていないことを明確にしている。

ワトキンス氏によると、現在、承認プロセスは存在しない。こうした機器はMHRA（英国医薬品規制庁）に登録されているだけで、規制当局がそれらを評価したり、開発に関連する文書を受け取ったりする法的義務はない。ワトキンス氏によると、それらは独立して存在し、MHRAが登録簿を保有しているという。

「ご指摘いただいた問題は複雑であり、既存の規制当局の管轄範囲外となる側面もいくつかあります」と、規制当局は書簡の中で認めています。「これは、私たちがさらに検討を進めているいくつかの問題を浮き彫りにしており、英国における医療機器の新たな規制枠組みを構築する上で重要となる可能性があります。」

EU全体の医療機器規制の改定は、ソフトウェアベースの医療機器に新たな要件を導入するもので、当初は昨年5月に英国で実施される予定だったが、英国がEUを離脱したため、実施されなくなる。

英国は、医療機器に関する独自の規制改正を策定中です。これは、ソフトウェアベースの「ヘルステック」をめぐって依然としてギャップが残っており、完全に解消されるまでには数年かかると予想されています。（ただし、ワトキンス氏は、昨年の機密保持要件の一部緩和など、制度にはいくつかの調整が加えられていると指摘しています。）

ハンコック保健相は昨年の議会演説で、政府は医療機器の規制制度を策定し、健康ウェアラブルやAIといったテクノロジー主導の発展に対応しつつ「患者の安全を維持・向上」できるよう「機敏に」構築することを目指していると述べた。この制度には、MHRAに「機器に関する安全性上の懸念事項を国民に開示する新たな権限」を与えることも含まれると、ハンコック保健相は当時述べた。

一方、既存の（時代遅れの）規制体制は、規制当局の手を縛り続けているようだ。少なくとも、安全上の懸念について公に発言できる範囲においては。ワトキンス氏が書簡を公表したことで、規制当局はそれを実行に移した。

MHRAは書簡の中で、「残念ながら守秘義務により、特定の調査についてこれ以上の発言はできません」と述べているものの、「ご安心ください。ご懸念は真剣に受け止めており、必要な措置があれば対応いたします」とも伝えている。

「手紙の文面から判断すると、彼らは、我々はあなたの意見を聞いており、あなたの言っていることを理解しており、あなたが提起した懸念を認識しているが、我々にできることには限界があるというメッセージを私に伝えたかったのは明らかだと思います」とワトキンス氏は語った。

また、彼は、規制当局が、この3年間彼が提起した懸念についてバビロン社と協議してきたと考えていると述べ、彼が具体的な疑問を提起した後、同社がいくつかの変更を加えたことを指摘した（例えば、当初は医療機器ではないとしていたがその後撤回され、医療機器であると認める内容に変更された利用規約や、チャットボットが「100％安全」であると主張していたが、この件では広告基準局の介入後に撤回された）。

ワトキンス氏によると、チャットボット自体も、結果としての診断よりもトリアージの結果を重視するように調整されている。

「彼らは（チャットボットによるトリアージの安全性の問題への対応に）断片的なアプローチを取っていました。ですから、私が（Twitterで公開的に）問題を報告しても、彼らはその特定の問題だけに注目していました。その年齢の患者がまさにそのトリアージ評価を受けているので、『わかりました。修正します。修正します』と言って、（具体的な修正を）実施するのです。しかし残念なことに、彼らはシステム内のより広範な根本的な問題に対処することに時間を費やしませんでした。そのため、安全性の問題が繰り返し発生するのです」と彼は述べ、心臓病のトリアージに関する複数の問題の例を挙げ、規制当局にもその問題を提起した。

なんてこった、@babylonhealth!

この危険な欠陥のある #ChestPain アルゴリズムは、これまで数え切れないほど多くの場面で警告されてきました。

本当に気にしないんですか…？

また別の例：59歳、1日20本のタバコを吸う男性、突然の胸痛と吐き気に襲われる #DeathByChatbot pic.twitter.com/ton5VPxP1U

— ドクター・マーフィー（別名デビッド・ワトキンス）（@DrMurphy11）2019年8月16日

「バビロンで働く人たちと話してみると、以前はこういう難しい修正をしなければならなかったんです。… 彼らがやるべきことは、ちょっと『単純化』するだけでした。例えば、胸の痛みがある人には、すぐに『救急外来に行く』と表示されるんです。彼らは、それについて考えるプロセスを一切排除していたんです」と彼は付け加えた。（もちろん、これは医療資源を無駄にするリスクもある。彼は規制当局への発言でもこの点を指摘している。）

「そうやって彼らは時間をかけてこれらの問題を回避してきました。しかし、これはこれらのツールの開発における課題と困難を浮き彫りにしています。容易なことではありません。急いでやろうとしすぎて十分な注意を払わなければ、結局は役に立たないものになってしまうのです。」

ワトキンス氏はまた、MHRAがバビロン社に働きかけて、2018年のAIイベントに関連した誇張した宣伝資料の一部をウェブサイトから削除させたのではないかと疑っている。

2018年のイベントに関連した興味深いエピソードの一つとして、バビロン社のCEOが、患者の言葉をリアルタイムで書き起こすAI搭載インターフェースと「感情スキャン」AIを組み合わせたデモを行った。感情スキャンAIは、患者の表情をリアルタイムでスキャンし、感情を評価するという。パーサ氏は続けて聴衆にこう語った。「これが私たちがやったことであり、構築してきたものです。これは見せかけではありません。すべては市場に出るか、すでに出回っているかのどちらかです。」

しかし、どちらの機能もBabylon社はまだ市場に投入していません。先月、この件について尋ねられた同社はTechCrunchに対し、次のように答えています。「当社の臨床ポータルデモの旧バージョンに搭載されていた感情検出機能は、Babylon社のAIチームによって開発・構築されました。Babylon社は広範なユーザーテストを実施しており、だからこそ当社の技術は患者と臨床医のニーズを満たすために絶えず進化し続けているのです。臨床医による市場投入前のユーザーテストを経て、感情認識機能よりも臨床ポータルの他のAI活用機能を優先し、サービスの運用面の改善に注力しました。」

「MHRAの書簡は確かに非常に安心できる内容で、MHRAは過去3年間に特定された懸念事項に対処するためにバビロン社と協議を重ねてきたと強く感じています」とワトキンス氏は本日、私たちにも語った。「MHRAは問題を無視していたようには見えませんが、バビロン社は問題を否定し、秘密保持条項を盾にしているだけです。」

英国におけるソフトウェアベースの医療機器の現在の規制状況に関する声明の中で、MHRA は次のように述べています。

MHRAは、医療機器メーカーが2002年医療機器規則（改正版）を遵守することを保証します。既存のガイダンスをご参照ください。

2021年医薬品医療機器法は、現在策定中の新たな規制枠組みの基盤となるものです。この法律では、医療機器としてのソフトウェア（SaMD）に適用されるリスク分類ルールを含む、医療機器規制のあらゆる側面が考慮されることになります。

英国は2023年7月1日までCEマーク付き機器の認定を継続します。その後は、UKCAマークの要件を満たす必要があります。これには、現在策定中の新しい枠組みの改訂された要件も含まれます。

2021年医薬品医療機器法により、MHRAはより高いレベルの透明性をもって規制活動を実施し、患者の安全のために情報を共有できるようになりました。

規制当局は、ワトキンス氏への書簡でバビロンに関して共有している懸念についてインタビューや質問への回答を拒否し、「MHRAはすべての懸念を調査しているが、個別のケースについてはコメントしない」と述べた。

「患者の安全は最優先であり、安全性に関する懸念がある場合は常に調査を行い、懸念を報告した個人と協議する」と付け加えた。

ワトキンス氏は、「最先端」の技術ツールの患者安全に関する問題について、もう一つ重要な点を指摘した。それは、「実際の臨床データ」はどこにあるかという点だ。これまでのところ、患者が参考にできる研究は限定的な評価しかなく、多くの場合、チャットボット開発者自身によって行われていると彼は言う。

「この分野で非常に顕著なのは、実生活のデータがほとんど存在しないという事実です」と彼は述べた。「チャットボットが登場してからもう何年も経ちますが…実生活の臨床データを取得するには十分な時間が経過しているにもかかわらず、いまだに公開されていません。これは、実生活の現場ではチャットボットが私たちが考えているほど役に立っていないからではないかと疑問に思うのです。」

最新情報: バビロン ヘルスは、MHRA のワトキンス氏への書簡に対する返答として、次のような声明文を私たちに送ってきました。

MHRAと一般の方との間の私的なやり取りに関する報告を拝見しました。書簡の全文を読めば、表明された懸念は現在の規制枠組みに関するより広範な声明であり、私たちもこれに全面的に同意していることは明らかです。実際、MHRAは同じ書簡の中で、そしてその後も、特定の製造業者についてコメントしないことを明確にしています。

バビロンはMHRAからいかなる規制措置の通知も受けていないことを明確に申し上げます。当社は英国およびその他の国の規制当局と頻繁に連絡を取り合い、前向きでオープンな対話を促進しており、いかなる議論についても常に透明性を確保します。書簡で強調されている分野は、医療における「症状チェッカー」の規制に関するものであり、バビロンの事業のごく一部に過ぎません。

この分野で最も確立された企業の一つとして、私たちは常に、最高水準の品質と安全性をもたらすあらゆる新たな規制を歓迎することを明確にしてきました。実際、私たちの知る限り、症状チェッカーをクラス1機器からクラスIIa機器に移行する欧州医療機器規則（MDR）に向けて、すでに重要な措置を単独で講じているのは私たちだけです。そのため、私たちは最近、第三者機関である認証機関（国の規制当局から医療機器評価を行う権限を与えられた機関）による品質管理システムの広範な監査を受け、合格しました。これは、過去2年半の間に私たちが受けた他の3回の独立した品質管理システム監査と軌を一にしており、これらの監査はすべて合格しています。Babylonの症状チェッカーは、現在も、そしてこれからも、必要なすべての規制を厳格に遵守し続けます。

バビロン・ヘルスは「ソフトウェアエラー」が患者データ漏洩につながったことを認める

Ada Healthは、物事を壊さずゆっくりと進むことでAI主導のスタートアップを構築しました。