Cilt lezyonu triyajı,
cihaz olmadan.
3D tüm-vücut görüntüleme klinik standart ve donanım pahalı. Bu proje tek bir soruyu ölçtü: o cihazın ürettiği sinyalin ne kadarı sıradan bir fotoğrafta kalıyor?
Kayseri.
1.042 hasta
hasta bazlı 5 fold
test arasındaki fark
%99 duyarlılıkta
Cevap, ölçülmüş hali.
401.059 lezyon üzerinde, görüntü zaten elde varken cihazın 33 ek ölçümünün katkısı 0,005'ten küçük.
Bu bir "fark bulamadık" ifadesi değil. Dar bir eşdeğerlik aralığı: %95 GA [−0,0054, +0,0040].
İddia cihazın değersiz olduğu değil. Cihaz ölçümleri görüntü yokken güçlü katkı veriyor (+0,0438). Görüntü eklendiğinde bu katkı kayboluyor — cihazın ürettiği bilgi telefon kalitesindeki fotoğrafta zaten mevcut. İlişki simetrik değil: görüntü cihazı kapsıyor, tersi geçerli değil.
Doğrulayan başkası.
Kendi çapraz doğrulamanızın iyimser olmadığını iddia etmek yetmez, gösterilmesi gerekir. Her iki kol da ISIC 2024 yarışmasının gizli test setine gönderildi — kol başına tek gönderim, sonuca bakıp ayar değiştirilmedi.
| Kol | Kendi ölçümümüz | Public test | Private test |
|---|---|---|---|
| Cihazsız | 0,1630 | 0,16359 | 0,15142 |
| Cihazlı | 0,1628 | 0,16712 | 0,15525 |
| Fark | −0,0003 | +0,00353 | +0,00383 |
Cihazsız kol kendi ölçümümüzde 0,1630, üçüncü tarafın hiç görmediğimiz veride ölçtüğünde 0,16359 — arada 0,0006. Farklı hastalar, bağımsız test, başkasının hesabı; neredeyse aynı sayı.
Bir kademe tarar. İkincisi karar verir.
Kademe 1, sıradan bir fotoğraftan "bu lezyona bakmaya değer mi" sorusunu cevaplıyor. Ama yakaladığı malign sinyalin %60'ı melanom değil, dolayısıyla "melanom mu" sorusunu cevaplayamıyor. Bu boşluk varsayılmadı, ölçüldü — ikinci kademenin gerekçesi bu.
Kademe 1 — tarama
Bir fotoğraf ve rutin olarak elde bulunan birkaç klinik alan, kalibre bir risk ve inceleme sırasında bir yer üretiyor.
Kademe 2 — ayrım
Dermoskopik görüntü melanomu diğerlerinden ayırıyor. Klinik alanlar burada ölçüldü ve katkı vermedi.
Kademe 2, kaynak veride bulunan 1.132 kopya grubu temizlendikten ve hasta bazlı bölme yeniden kurulduktan sonra eğitildi. Aynı veriyle kurulan öncül bir çalışma 0,9491 bildiriyordu; kopyalar atılıp bölme sıkılaştırılınca sayı 0,9319'a düştü — aradaki fark sızıntının bedeli. Ardından dört kurumda toplanmış, eğitim verisiyle sıfır örtüşen 12.345 görüntülük bağımsız kohortta 0,9512 aldı.
Gerçek vakalarda nasıl görünüyor.
Bunlar Kademe 2'nin tamamen harici bir kohorttaki tahminleri — dört kurumda 2008-2021 arasında görüntülenmiş Türk hastalar, malignlerin tamamı biyopsiyle doğrulanmış. Model bu veriyi hiç görmedi, eğitim kümesiyle örtüşme sıfır.
Lezyona bakıyor mu?
Başarım sayısından daha çok önem taşıyan bir akıl sağlığı denetimi: model lezyona mı tepki veriyor, yoksa kadrajdaki tesadüfi bir şeye mi?
Önceliklendirme, dışlama değil.
3D tarama yapılan bir hastada incelenecek yaklaşık 385 lezyon oluyor. Model bu listeyi sıralıyor. Klinik soru "kaç lezyona bakalım" değil, "kaç kanseri kaçırmayı göze alıyoruz".
%99 duyarlılıkta
385 lezyon hasta başına 165'e iniyor.
%95 duyarlılıkta
385 lezyon 93'e iniyor.
%90 duyarlılıkta
385 lezyon 54'e iniyor.
Eşiğin devredilebilirliği ayrıca sınandı: eşiği diğer fold'larda seçip tutulan fold'da ölçmek en fazla 1,0 puan duyarlılık götürüyor. En üst satır hem en savunulabilir hem en kararlı çalışma noktası.
Bir servis, defter değil.
İki kademe de belgelenmiş bir yanıt şemasıyla HTTP servisinin arkasında duruyor ve konteyner olarak paketlendi. Kademe 1 üç kademeli bir sevk kararı ve sırada bir yer döndürüyor — on üzerinden puan değil, olasılık da değil, çünkü kalibre olasılık telefon fotoğrafına taşınmıyor (aşağıya bakın). Kademe 2 ham skor, kalibre olasılık ve lezyonun düştüğü çalışma noktasını döndürüyor; her biri hangi popülasyona göre üretildiği yazılarak.
Kademe 1 gecikmesi
Medyan, dağıtımdaki sunucuda ölçüldü.
Alan dışı reddi
Deri olmayan görüntü, iki model de çalışmadan reddediliyor.
Konteyner sapması
Geliştirme makinesiyle birebir aynı tahmin.
Servis tek bir ARM çekirdeğinde, GPU olmadan çalışıyor; dört saniye buradan geliyor: tek CPU üzerinde 355 milyon parametreli bir görü dönüştürücüsü. Sayı, dağıtımdaki makinede çalışan konteynerin içinde ölçülen medyan — geliştirme bilgisayarında değil. Alan kontrolü ucuz olan taraf: alakasız bir görüntü, iki model de çalışmadan 0,3 saniyede reddediliyor.
Bağımlılık sürümleri sabitlendi, çünkü sabitlenmemiş bir yükseltmenin tahminleri kaydırdığı gözlendi. Sabitlendiğinde iki farklı işletim sistemi, iki farklı işlemci aynı lezyon için aynı sayıyı döndürüyor — varsayılarak değil, saklanan tahminlerle karşılaştırılarak doğrulandı.
Sürekli tümleştirme her commit'te koşuyor ve bilerek sessiz hataları hedefliyor: özniteliklerin sırası, kalibrasyon sabitleri, çalışma noktası eşikleri ve yanıt sözleşmesi. Bu testler, geliştirme sırasında böyle bir hata yaşandığı için var — model çalışmaya devam etmişti, sadece yanlış çalışıyordu.
Taşınmayan sayı.
Model, 3B görüntüleme cihazının kalibre kırpıklarıyla eğitildi. Servise sıradan telefon fotoğrafı geliyor. Sıralama bu geçişten sağ çıkıyor, eşik çıkmıyor.
Bu varsayılmadı, ölçüldü. Bağımsız bir telefon kamerası veri setinin 2.298 fotoğrafının tamamı çalışan servisten geçirildi. İyi huylu bir lezyonun kalibre olasılık medyanı cihaz görüntüsünde %0,017, telefon fotoğrafında %0,886 — 52 kat kayma. Cihazdan gelen eşik olduğu gibi taşındığında iyi huylu telefon fotoğraflarının %100'ünü işaretliyor; bu da hiçbir şey söylememekle aynı şey.
Modelin kendisi sağlam: aynı fotoğraflarda ROC-AUC 0,845 [0,828, 0,861] alıyor, cihaz görüntüsündeki 0,954'e karşı. Lezyonları hâlâ doğru sıralıyor, yalnızca başka bir ölçekte sıralıyor. Bu yüzden çalışma noktaları telefon ölçeğinde yeniden ölçüldü ve arayüz olasılık yerine üç kademeli bir sevk kararı döndürüyor.
| Tanı | Öncelikli değil | Muayene önerilir | Muayene öncelikli |
|---|---|---|---|
| Sıradan ben | %69,1 | %25,1 | %5,8 |
| Seboreik keratoz | %53,2 | %28,9 | %17,9 |
| Bazal hücreli karsinom | %4,2 | %24,8 | %71,0 |
| Melanom | %9,6 | %36,5 | %53,8 |
Alt eşik %90 yerine %95 duyarlılık noktasında belirlendi, çünkü %90'da elli iki melanomun sekizi en alt kademede kalıyordu, %95'te beşi kalıyor. Youden J'yi en büyükleyen nokta da ölçüldü ve reddedildi: orada on beşi kalıyordu. Bu bir kalibrasyon değil eşik transferi — telefon veri seti dağıtım popülasyonu değil, o yüzden ondan "bu lezyonun riski %X" cümlesi kurulmuyor.
Aynı çalışma eğitim verisinde bir kusur da ortaya çıkardı. Kayıtlı lezyon çapı ile malignite arasındaki ilişki U şeklinde ve sol kolu bir artefakt: 2,5 mm altında kayıtlı lezyonlar verinin %1,1'i ama malignitelerin %26'sını taşıyor, taban oranın 53 katı — hemen yanındaki aralık ise 0,2 katında. Yarım milimetrelik bir genişlik farkı kanser riskini elli kat değiştiremez; cihaz ölçemediğinde alan küçük doldurulmuş. Model bunu öğrenmişti, dolayısıyla "2 mm" yazan bir kullanıcı kendi tahminini 23 kat yükseltiyordu ve alanı boş bırakmak 1 mm yazmakla aynıydı. İkisi de artık girdide düzeltiliyor ve sebebi yanıtta yazıyor.
Tasarım ilkesi.
Klinik girdilerin işi görüntüyü tekrar etmek değil, görüntünün fiziksel olarak içeremediğini sağlamaktır.
Renk, asimetri ve kenar zaten fotoğrafta ve ağ bunları elle tasarlanmış betimleyicilerden daha iyi okuyor — tam bir morfometri katmanı kuruldu, alternatifine karşı ölçüldü ve tam olarak bu yüzden çıkarıldı. Lezyon boyutu ise tersi durum: kalibrasyonsuz bir fotoğraftan hiçbir şekilde çıkarılamıyor. Kusursuz bir bölütleme maskesi verildiğinde bile gerçek fiziksel boyutla korelasyon ρ = 0,19, p = 0,31 çıktı. Bu bir model kapasitesi sorunu değil, bilgi-teorik bir sınır; çözümün modelin dışından gelmesi gerekiyor — kadraja konan bir ölçek referansından.
Adı konması gereken iki karar
İkisi de tercihle değil ölçümle belirlendi ve ikisi de yaygın varsayılanın tersine çıktı. Omurga bir kademede uyarlanıyor, diğerinde hiç dokunulmuyor: Kademe 1'de yalnızca 393 pozitif varken büyük bir görü modelini uyarlamak denendi ve sabit bırakmaktan kötü ölçüldü; Kademe 2'de 5.479 pozitif var ve karar tersine dönüyor. Ham olasılıklar kullanılamazdı: sıralama çok iyiydi ama model prevalansı 11,4 kat eksik tahmin ediyordu, dolayısıyla "bu lezyonun riski %X" biçiminde tek bir dürüst cümle kurulamazdı. Ayrılmış veride bir kalibrasyon adımı oturtuldu ve doğrulandı.
Ne değildir.
- Tanı cihazı değildir. Önceliklendirir; hekimin yerini tutmaz.
- En zayıf olduğu bölge baş ve boyun (ROC-AUC 0,907), aynı zamanda en sık görüldüğü bölge.
- Kötü ışığa duyarlıdır. Karanlık fotoğraf en büyük hata kaynağıdır.
- Yalnızca geriye dönük. İleriye dönük bir klinik çalışma yapılmadı.
Gizlilik
Yüklenen görüntüler bellekte işlenir ve hiçbir yere kaydedilmez. Hesap, veritabanı ve kişisel veri yoktur.
Burası bir gösterimdir, klinik sistem değildir; tıbbi karar için kullanılmamalıdır.