Cilt lezyonu triyajı,
cihaz olmadan.
3D tüm-vücut görüntüleme klinik standart ve donanım pahalı. Bu proje tek bir soruyu ölçtü: o cihazın ürettiği sinyalin ne kadarı sıradan bir fotoğrafta kalıyor?
PMAA bünyesinde geliştirildi, Kayseri.
1.042 hasta
hasta bazlı 5 fold
test arasındaki fark
%99 duyarlılıkta
Cevap, ölçülmüş hali.
401.059 lezyon üzerinde, görüntü zaten elde varken cihazın 33 ek ölçümünün katkısı 0,005'ten küçük.
Bu bir "fark bulamadık" ifadesi değil. Dar bir eşdeğerlik aralığı: %95 GA [−0,0054, +0,0040].
İddia cihazın değersiz olduğu değil. Cihaz ölçümleri görüntü yokken güçlü katkı veriyor (+0,0438). Görüntü eklendiğinde bu katkı kayboluyor — cihazın ürettiği bilgi telefon kalitesindeki fotoğrafta zaten mevcut. İlişki simetrik değil: görüntü cihazı kapsıyor, tersi geçerli değil.
Doğrulayan başkası.
Kendi çapraz doğrulamanızın iyimser olmadığını iddia etmek yetmez, gösterilmesi gerekir. Her iki kol da ISIC 2024 yarışmasının gizli test setine gönderildi — kol başına tek gönderim, sonuca bakıp ayar değiştirilmedi.
| Kol | Kendi ölçümümüz | Public test | Private test |
|---|---|---|---|
| Cihazsız | 0,1630 | 0,16359 | 0,15142 |
| Cihazlı | 0,1628 | 0,16712 | 0,15525 |
| Fark | −0,0003 | +0,00353 | +0,00383 |
Cihazsız kol kendi ölçümümüzde 0,1630, üçüncü tarafın hiç görmediğimiz veride ölçtüğünde 0,16359 — arada 0,0006. Farklı hastalar, bağımsız test, başkasının hesabı; neredeyse aynı sayı.
Bir kademe tarar. İkincisi karar verir.
Kademe 1, sıradan bir fotoğraftan "bu lezyona bakmaya değer mi" sorusunu cevaplıyor. Ama yakaladığı malign sinyalin %60'ı melanom değil, dolayısıyla "melanom mu" sorusunu cevaplayamıyor. Bu boşluk varsayılmadı, ölçüldü — ikinci kademenin gerekçesi bu.
Kademe 1 — tarama
Bir fotoğraf ve rutin olarak elde bulunan birkaç klinik alan, kalibre bir risk ve inceleme sırasında bir yer üretiyor.
Kademe 2 — ayrım
Dermoskopik görüntü melanomu diğerlerinden ayırıyor. Klinik alanlar burada ölçüldü ve katkı vermedi.
Kademe 2, kaynak veride bulunan 1.132 kopya grubu temizlendikten ve hasta bazlı bölme yeniden kurulduktan sonra eğitildi. Aynı veriyle kurulan öncül bir çalışma 0,9491 bildiriyordu; kopyalar atılıp bölme sıkılaştırılınca sayı 0,9319'a düştü — aradaki fark sızıntının bedeli. Ardından dört kurumda toplanmış, eğitim verisiyle sıfır örtüşen 12.345 görüntülük bağımsız kohortta 0,9512 aldı.
Gerçek vakalarda nasıl görünüyor.
Bunlar Kademe 2'nin tamamen harici bir kohorttaki tahminleri — dört kurumda 2008-2021 arasında görüntülenmiş Türk hastalar, malignlerin tamamı biyopsiyle doğrulanmış. Model bu veriyi hiç görmedi, eğitim kümesiyle örtüşme sıfır.
Lezyona bakıyor mu?
Başarım sayısından daha çok önem taşıyan bir akıl sağlığı denetimi: model lezyona mı tepki veriyor, yoksa kadrajdaki tesadüfi bir şeye mi?
Önceliklendirme, dışlama değil.
3D tarama yapılan bir hastada incelenecek yaklaşık 385 lezyon oluyor. Model bu listeyi sıralıyor. Klinik soru "kaç lezyona bakalım" değil, "kaç kanseri kaçırmayı göze alıyoruz".
%99 duyarlılıkta
385 lezyon hasta başına 165'e iniyor.
%95 duyarlılıkta
385 lezyon 93'e iniyor.
%90 duyarlılıkta
385 lezyon 54'e iniyor.
Eşiğin devredilebilirliği ayrıca sınandı: eşiği diğer fold'larda seçip tutulan fold'da ölçmek en fazla 1,0 puan duyarlılık götürüyor. En üst satır hem en savunulabilir hem en kararlı çalışma noktası.
Bir servis, defter değil.
İki kademe de belgelenmiş bir yanıt şemasıyla HTTP servisinin arkasında duruyor ve konteyner olarak paketlendi. Arayüz kalibre olasılık, triyaj yüzdeliği ve lezyonun düştüğü çalışma noktasını döndürüyor — ham skoru asla.
Kademe 1 gecikme
Medyan, CPU üzerinde.
Kademe 2 gecikme
Medyan, CPU üzerinde.
Konteyner sapması
Geliştirme makinesiyle birebir aynı tahmin.
Bağımlılık sürümleri sabitlendi, çünkü sabitlenmemiş bir yükseltmenin tahminleri kaydırdığı gözlendi. Sabitlendiğinde iki farklı işletim sistemi, iki farklı işlemci aynı lezyon için aynı sayıyı döndürüyor — varsayılarak değil, saklanan tahminlerle karşılaştırılarak doğrulandı.
Sürekli tümleştirme her commit'te koşuyor ve bilerek sessiz hataları hedefliyor: özniteliklerin sırası, kalibrasyon sabitleri, çalışma noktası eşikleri ve yanıt sözleşmesi. Bu testler, geliştirme sırasında böyle bir hata yaşandığı için var — model çalışmaya devam etmişti, sadece yanlış çalışıyordu.
Tasarım ilkesi.
Klinik girdilerin işi görüntüyü tekrar etmek değil, görüntünün fiziksel olarak içeremediğini sağlamaktır.
Renk, asimetri ve kenar zaten fotoğrafta ve ağ bunları elle tasarlanmış betimleyicilerden daha iyi okuyor — tam bir morfometri katmanı kuruldu, alternatifine karşı ölçüldü ve tam olarak bu yüzden çıkarıldı. Lezyon boyutu ise tersi durum: kalibrasyonsuz bir fotoğraftan hiçbir şekilde çıkarılamıyor. Kusursuz bir bölütleme maskesi verildiğinde bile gerçek fiziksel boyutla korelasyon ρ = 0,19, p = 0,31 çıktı. Bu bir model kapasitesi sorunu değil, bilgi-teorik bir sınır; çözümün modelin dışından gelmesi gerekiyor — kadraja konan bir ölçek referansından.
Adı konması gereken iki karar
İkisi de tercihle değil ölçümle belirlendi ve ikisi de yaygın varsayılanın tersine çıktı. Omurga bir kademede uyarlanıyor, diğerinde hiç dokunulmuyor: Kademe 1'de yalnızca 393 pozitif varken büyük bir görü modelini uyarlamak denendi ve sabit bırakmaktan kötü ölçüldü; Kademe 2'de 5.479 pozitif var ve karar tersine dönüyor. Ham olasılıklar kullanılamazdı: sıralama çok iyiydi ama model prevalansı 11,4 kat eksik tahmin ediyordu, dolayısıyla "bu lezyonun riski %X" biçiminde tek bir dürüst cümle kurulamazdı. Ayrılmış veride bir kalibrasyon adımı oturtuldu ve doğrulandı.
Ne değildir.
Dört ayrı sızıntı kaynağı kendi işimizde yakalanıp kaldırıldı, üç yaklaşım ölçülüp elendi. Çürüyen hipotezler gizlenmedi; bu sınırlar da gizlenmiyor.
- Tanı aracı değildir. Önceliklendirir; hekim kararının yerine geçmez.
- Baş-boyun bölgesinde en zayıf (0,9066) ve orası en yüksek prevalanslı bölge.
- Işığa duyarlı. Ağır düşük ışıkta görüntü kanalı katkısını kaybediyor. İyi aydınlatma ve sıkıştırmasız çekim bir kullanım koşuludur, öneri değil.
- Çekim modu görüntüden sızıyor. Değişken modele hiç verilmediği halde iki çekim modu arasında başarım farkı var.
- Kademe 2 dermoskopik görüntü ister. Telefon fotoğrafı verilirse alan kayması olur ve sonuç geçersizdir.
- Prospektif klinik doğrulama yapılmadı. Tüm sonuçlar geriye dönüktür.
Gizlilik ve kişisel veri
Demo, saklanacak hiçbir şey olmayacak biçimde kurgulandı:
- Yüklenen görüntü yalnızca istek süresince bellekte tutuluyor, diske hiç yazılmıyor.
- Hesap yok, veritabanı yok, görüntü depolama yok. Yanıt döndükten sonra hiçbir şey kalmıyor; sonradan kimliklendirilebilecek bir veri de yok.
- Kişisel veri istenmiyor; klinik alanlar kaba ve kimlik belirtmeyen değerlerdir.
- Sonuçlar eğitimde ya da başka bir işlemede kullanılmıyor.
Burası bir gösterimdir, klinik sistem değildir; tıbbi karar için kullanılmamalıdır.