נתיבי ולידציה קלינית ל-SaMD מבוסס AI/ML: מפה צעד-אחר-צעד

ולידציה קלינית היא איפה שהרבה תוכניות SaMD מבוסס AI/ML מגלות שהן 6 עד 12 חודשים מאחורי ההשקה המתוכננת שלהן. העבודה הטכנית הייתה לפי לוח הזמנים. חבילת הראיות הקליניות לא. עד שהצוות מבין שהגוף הרגולטורי רוצה יותר ראיות או ראיות שונות מאלה שהצוות הכין, לוח הזמנים כבר חורג מחלון ההגשה הבא שמתאים רגולטורית.

זו מפת הנתיבים שאנחנו משתמשים בה עם ספקים שמתכננים את שלב הולידציה הקלינית ל-SaMD מבוסס AI/ML. היא מציגה עמדה ברורה לגבי אילו נתיבים מתאימים לאילו מחלקות מערכת, ואיפה הבחירה ביניהם יותר גמישה ממה שההדרכה הפומבית מציעה.

שתי השאלות שקובעות את הנתיב

לפני שמחליטים אילו ראיות לייצר, שתי שאלות קובעות איזה פריימוורק ראיות חל.

1. איזה סוג של טענה קלינית המכשיר עושה? מכשיר אבחוני טוען לזהות מצב. מכשיר triage טוען לתעדף מקרים. מכשיר ניטור טוען לזהות שינויים לאורך זמן. מכשיר תמיכת החלטה טיפולית טוען להעביר בחירת טיפול. לכל סוג טענה ציפיית ראיות מקבילה, והגרסה החזקה ביותר של הטענה היא זו שהרגולטורים מעריכים. ספקים שמסויגים את הטענות שלהם כדי להוריד את נטל הראיות לעיתים קרובות מפיקים תיעוד שלא תומך בטענה שהם באמת רוצים לעשות מסחרית.

2. כמה אוטונומי תפקיד המכשיר ב-workflow הקליני? מכשיר שמפיק ממצא לקלינאי לבחון יש לו רף ראיות שונה ממכשיר שמפיק ממצא שהקלינאי פועל לפיו ללא אימות עצמאי, וזה שונה שוב ממכשיר שלוקח פעולה אוטונומית. הרגולטורים מתעניינים בזה באופן עז. ספקים לעיתים קרובות מזלזלים בכמה זה חשוב.

שתי השאלות האלה, נענות בכנות, מצמצמות את הנתיב באופן דרמטי. אנחנו רואים ספקים מבזבזים שישה חודשים כי הם נכנסו לשלב הולידציה בלי לפתור אותן.

ארבעת הנתיבים שרוב SaMD מבוסס AI/ML לוקח

לרוב SaMD קליני מבוסס AI/ML, אחד מארבעה נתיבי ולידציה חל. ההבדלים לא טריוויאליים, והבחירה היא חלקית אסטרטגית.

נתיב A: הערכת ביצועים רטרוספקטיבית מול תקן ייחוס מוקפד. המערכת מוערכת על dataset held-out עם ground truth שנקבע על-ידי סקירת מומחים או בדיקת gold-standard. זה מספיק להרבה אפליקציות אבחון ו-triage בסיכון נמוך-עד-בינוני, במיוחד איפה שהמשווה (שיפוט קלינאי) הוא התקן שהמערכת מחליפה או מגדילה. ראיות נדרשות: אפיון dataset (גודל, דמוגרפיה, גיוון מקור, שכיחות), מתודולוגיית תקן ייחוס, מדדי ביצועים סטטיסטיים עם רווחי סמך, ניתוח תת-קבוצות. זמן לראיות: 3–6 חודשים ברגע שהנתונים ביד.

נתיב B: מחקר multi-reader multi-case (MRMC). משמש כשהטענה היא על ביצועי קלינאי עם המכשיר מול בלעדיו. מספר קלינאים קוראים מספר מקרים תחת שני התנאים. הסקה סטטיסטית משתמשת בשיטות כמו פריימוורק Dorfman-Berbaum-Metz. סטנדרט לטענות AI ברדיולוגיה לגבי שיפור דיוק אבחון. ראיות נדרשות: פרוטוקול MRMC עם pre-specification סטטיסטי, תוכנית גיוס קוראים, בחירת מקרים שמייצגת את אוכלוסיית השימוש המתוכנן, מתודולוגיית ground-truth, תוכנית ניתוח סטטיסטי. זמן לראיות: 6–9 חודשים.

נתיב C: מחקר קליני פרוספקטיבי. משמש כשראיות רטרוספקטיביות אינן מספיקות: המכשיר מציג שינוי workflow מעבר לתמיכת החלטה, הטענה היא על תוצאות קליניות (משך אשפוז, תמותה, תוצאות טיפול), או הרגולטור ביקש במפורש נתונים פרוספקטיביים. ראיות נדרשות: פרוטוקול עם אישור אתיקה, גיוס פרוספקטיבי, נקודות סיום ראשיות ומשניות מוגדרות, תוכנית ניתוח סטטיסטי שצוינה מראש. זמן לראיות: 12–24 חודשים.

נתיב D: ניסוי קליני מבוקר אקראי מרכזי. משמש לתמיכת החלטה טיפולית בסיכון גבוה, מנגנוני פעולה חדשים, או טענות על עדיפות קלינית על תקן הטיפול הקיים. נדרש לחלק מהוראות Class III, לפעמים מתאים ל-Class IIb. זמן לראיות: 18–36 חודשים ותקציב משמעותי.

רוב הספקים נוחתים בנתיב A או B. נתיב C יותר ויותר נפוץ ככל שהרגולטורים מקשיחים ציפיות למערכות AI שמשפיעות על workflow קליני. נתיב D נשאר היוצא דופן. שמרו אותו לטענות שבאמת דורשות אותו.

גורמי איכות הראיות שרגולטורים מחפשים

לכל נתיב שתבחרו, ארבעה גורמי איכות ראיות קובעים אם הולידציה מחזיקה תחת בדיקה רגולטורית. הם חלים על כל הנתיבים, וחולשה באיזשהו מהם יוצרת בעיות.

רפרזנטטיביות אוכלוסייה. נתוני הולידציה חייבים לשקף את האוכלוסייה שהמכשיר ייתקל בה בפריסה. זה התחום שבו SaMD מבוסס AI/ML הכי לעיתים קרובות נכשל: נתוני אימון נמשכו ממרכז אקדמי אחד או שניים, והולידציה משתמשת מחדש באוכלוסייה הזו, אבל הפריסה תהיה בבתי חולים קהילתיים על פני אזורים מרובים. הרגולטור ישאל. התשובה הכנה רק לעיתים נדירות היא זו שמחליקה את הסקירה.

ביצועי תת-קבוצות. ביצועים סטטיסטיים מפורקים לפי תת-קבוצות רלוונטיות קלינית: גיל, מין, אתניות, מחלות נלוות, חומרת מחלה. פערים חייבים להיות מדווחים ומטופלים. הדרכה לא סופית של ה-FDA על AI/ML ב-SaMD עושה את זה מפורש. ה-MDR האירופי תמיד רמז על זה דרך דרישות הערכה קלינית של סעיף 61.

עמידות לרעש מציאותי. ביצועים תחת תנאים שהמערכת באמת תיתקל בהם: artefacts הדמיה, שדות נתונים חסרים, קלטים out-of-distribution. מכשיר שמבצע מושלם על מקרי בדיקה מוקפדים אבל מתדרדר על קלטים קליניים שגרתיים לא ישמור על הביצועים שטען להם בפועל. רגולטורים יותר ויותר בודקים את זה.

התאמת המשווה. השוואת הביצועים חייבת להיות מול משווה קליני משמעותי, לא דחליל. "מהיר יותר מרדיולוג" משמעותי אם למהירות יש ערך קליני. "מדויק יותר מאף בדיקה בכלל" רק לעיתים נדירות.

ארבעת אלה חשובים באופן עצמאי. תוכניות שמגיעות מצוין באחד ומתעלמות מאחר מפיקות חבילות ראיות שנראות חזקות על נייר ונכשלות תחת בדיקה.

סדר הפעולות שמונע את העיכוב של שישה חודשים

הסיבה שספקים מאבדים זמן בולידציה קלינית בדרך כלל היא סדר פעולות, לא העבודה עצמה. הרצף שמונע את העיכוב:

חודשים 0–3: לפתור את הטענה ואת התפקיד. לפני כל עבודת נתונים, החליטו איזו טענה אתם עושים ומה תפקיד המכשיר ב-workflow הקליני. תעדו את שניהם בדיוק שהרגולטור ישתמש בו לפרש אותם. סטיית טענה אחרי הנקודה הזו היא מקור עיקרי לעבודה מחדש.

חודשים 3–6: pre-specify של תוכנית הולידציה. עם ביוסטטיסטיקאי מוסמך, כתבו את פרוטוקול הולידציה לפני יצירת נתונים. הגדירו את תקן הייחוס, האוכלוסייה, נקודות הסיום, תוכנית הניתוח, קריטריוני ההצלחה. Pre-specification היא מה שמבדיל ראיות מ-data dredging בעיני הרגולטור.

חודשים 6–12: יצירת הנתונים וביצוע הניתוח. עם תוכנית שצוינה מראש, זה ביצוע, לא חקר. הנתיב קובע את משך הזמן. נתיבים A ו-B נכנסים בנוחות לחלון הזה. נתיב C לא.

חודשים 12–15: בניית דוח הערכה קלינית. סינתזה של ראיות הולידציה לדוח הערכה קלינית (vocabulary של MDR) או לסעיף הגשה דומה (vocabulary של FDA). זה תרגיל כתיבה אם השלבים הקודמים נעשו נכון. זה תרגיל הצלה אם לא.

חודשים 15–18: הגשה וסקירה. החבילה הולכת לרגולטור. מחזורי סקירה בדרך כלל רצים 90–270 ימים תלוי ברגולטור ובסוג ההגשה, עם סבב אחד או יותר של מידע נוסף סביר.

הסך הכל: 18 חודשים מהגדרת הטענה לאישור לתוכנית טיפוסית של נתיב A או B. ספקים שמנסים לדחוס את זה על-ידי דילוג על שלב הטענה/תוכנית באופן עקבי מוסיפים את הזמן בחזרה במהלך מחזור הסקירה כשהפערים נהיים גלויים.

איפה אנחנו נכנסים

תחום ה-MedTech של פליקן-טק בונה תוכניות ולידציה קלינית ל-SaMD מבוסס AI/ML עם משמעת סדר הפעולות למעלה, עובדים יחד עם צוותי ההנדסה והסטטיסטיקה כדי לייצר ראיות במקום תיעוד רטרוספקטיבי. אנחנו עובדים עם צוות הרגולציה ואישורים שלנו כשההערכה הקלינית צריכה להיאסף להגשות FDA, MDR, או IVDR, ועם פרקטיקת פתרונות ה-AI שלנו כשהנדסת ה-ML הבסיסית צריכה לתמוך בדרישות הראיות שזוהו במהלך תכנון הולידציה.

אם אתם בתוך 12 חודשים מהגשה מתוכננת ל-SaMD מבוסס AI/ML וחבילת הראיות הקלינית עוד לא בנויה סביב תוכנית ולידציה שצוינה מראש, זה ה-engagement שצריך להתחיל איתו לפני שעבודת הנתונים מתחילה.