Accessible Live Captions İncelemesi: Ekran Okuyucuyla Windows Altyazı Geçmişi

Yorum yapılmamış

Windows 11’in yerleşik Canlı Açıklamalı Alt Yazılar özelliği bilgisayardan geçen sesi cihaz üzerinde yazıya çevirebiliyor. Ancak geliştirici ve erişilebilirlik uzmanı Kelly Ford’a göre bu arayüz, ekran okuyucu kullanan bir kişinin geçmiş satırlara dönmesi, metni satır satır incelemesi ve kaydetmesi için yeterli bir yapı sunmuyor. Ford’un açık kaynaklı Accessible Live Captions projesi, konuşma tanıma motorundan çok altyazının nasıl sunulduğuna odaklanan bir teknoloji gösterimi.

Uygulama; mikrofonu, bilgisayarda çalan tüm sesi veya belirli bir uygulamanın sesini yerel olarak yazıya çevirebiliyor. Tam döküm görünümünde her tamamlanmış ifade odaklanabilir bir liste öğesi oluyor; kullanıcı Ok tuşları, Home ve End ile geçmişi inceleyebiliyor. Yeni altyazılar Narrator, NVDA ve JAWS’a UI Automation bildirim olayıyla duyurulabiliyor. Henüz kesinleşmemiş sözcükler “Now hearing” alanında görünse de ekran okuyucunun sürekli değişen metinle dolmaması için seslendirilmiyor.

Bu inceleme, projenin 0.5.0 sürümündeki kaynak kodu, sürüm notları ve Microsoft belgeleri temel alınarak hazırlandı. Uygulama Windows cihazında tarafımızdan çalıştırılmadı; erişilebilirlik davranışı, doğruluk, gecikme ve performansla ilgili geliştirici gözlemleri bağımsız laboratuvar testi olarak sunulmuyor.

Windows’un yerleşik canlı altyazısından farkı ne?

Microsoft’un resmî belgesine göre Windows 11 Canlı Açıklamalı Alt Yazılar, bilgisayardan geçen sesi internet bağlantısı olmadan işleyebiliyor; mikrofon sesi de isteğe bağlı olarak eklenebiliyor. Ses, ses verisi ve oluşturulan altyazı cihazdan ayrılmıyor. Özellik Windows 11 22H2 ve sonrasında bulunuyor; Copilot+ bilgisayarlarda 24H2 ile belirli diller arasında çeviri de sunuluyor.

Accessible Live Captions’ın iddiası, Microsoft’un tanıma motorunun yetersiz olduğu değil, sonuçların ekran okuyucu açısından daha işlevsel sunulabileceği. Projede bütün oturum boyunca tutulan kaydırılabilir bir döküm bulunuyor. Tamamlanan her satır ayrı odak alıyor; yeni satır geldiğinde kullanıcı geçmişi inceliyorsa odak zorla en sona taşınmıyor. Metnin tamamı panoya kopyalanabiliyor veya TXT dosyasına kaydedilebiliyor.

F7 ile tam döküm ve büyük yazılı tek satırlık panel arasında geçiş yapılabiliyor. Panel görünümü geçmişi silmiyor: Yukarı ve Aşağı Ok ile önceki altyazılara dönülebiliyor, End ile canlı akışı izlemeye devam edilebiliyor. Böylece kısa görsel panel ile ekran okuyucuyla incelenebilir geçmiş arasında seçim yapmak gerekmiyor.

Ekran okuyucu ve klavye modeli

Uygulama arayüzü bir belge ve menü çubuğu gibi tasarlanmış. Odak temel içerik olan dökümde kalıyor; Tab tuşuyla uzun bir araç çubuğunda dolaşmak gerekmiyor. Menülere Alt veya F10 ile ulaşılıyor. Başlıca kısayollar şunlar:

  • Yukarı/Aşağı Ok, Home ve End: altyazı satırlarını inceleme
  • F7: döküm ve panel görünümü arasında geçiş
  • Ctrl+R: dinlemeyi başlatma veya durdurma
  • F8: yeni altyazı duyurularını açma veya kapatma
  • Ctrl+Artı ve Ctrl+Eksi: yazı boyutunu 14–48 punto aralığında değiştirme
  • Ctrl+Shift+C: bütün dökümü kopyalama
  • Ctrl+S: dökümü metin dosyasına kaydetme
  • Ctrl+L: mevcut geçmişi temizleme

Yalnız kesinleşmiş satırların UI Automation bildirim olayıyla duyurulması önemli bir ayrıntı. Akış tanıyıcılarının ara sonuçları her sözcükte değişebildiği için bunların tamamını seslendirmek, asıl içerik ile ekran okuyucu konuşmasını birbirine karıştırabilir. Kullanıcı otomatik duyuruyu F8 ile kapatıp dökümü kendi hızında da okuyabiliyor.

Mikrofon, tüm sistem sesi veya tek uygulama

Üç ses kaynağı seçilebiliyor. Mikrofon modu varsayılan mikrofonu; sistem sesi modu bilgisayarın çaldığı bütün sesi; uygulama modu ise seçilen programı ve alt süreçlerini yakalıyor. Sistem sesi için WASAPI döngü yakalama kullanılıyor. Microsoft’un teknik örneği, ActivateAudioInterfaceAsync ve süreç döngüsü parametreleriyle tek bir süreç ağacını dahil etmenin veya tüm ses içinden dışlamanın Windows 10 yapı 20348 ve sonrasında desteklendiğini doğruluyor.

Ekran okuyucu kullanıcısı için kritik sorun, NVDA, JAWS veya Narrator konuşmasının da sistem sesine karışması. Projedeki “Exclude screen reader speech” seçeneği varsayılan olarak açık ve ilgili ekran okuyucu süreç ağacını yakalamadan çıkarmaya çalışıyor. Böylece toplantı altyazısının arasına ekran okuyucunun okuduğu menüler veya yeni altyazı duyuruları girmiyor.

Proje notlarına göre bazı ses aygıtları süreç bazlı yakalamayı desteklemeyebilir. Uygulama bu durumu birkaç saniye içinde algılayıp kullanıcıya bildirmeyi ve sessizce durmak yerine tüm sistem sesini yazıya çevirmeyi sürdürüyor. Bu geri dönüş davranışı gerçek donanımda tarafımızdan doğrulanmadı.

Dört yerel konuşma tanıma motoru

Whisper varsayılan seçenek. Tiny’den Large v3’e kadar model seçilebiliyor; ilk kullanımda model indiriliyor ve sonrasında yerel dosya yeniden kullanılıyor. Proje belgeleri temel İngilizce modelinin yaklaşık 142 MB olduğunu ve Snapdragon X üzerinde CPU ile gerçek zamanlı çalışabildiğini belirtiyor. Bu performans geliştiricinin kendi ARM64 cihazındaki gözlemidir.

Streaming motoru, sherpa-onnx üzerinden NeMo FastConformer dönüştürücü kullanıyor. Sözcükleri yaklaşık yarım saniye geriden, küçük harfli ve noktalamasız biçimde aktardığı; ilk kullanımda yaklaşık 456 MB model indirdiği belirtiliyor.

Windows on-device seçeneği, Microsoft.Windows.AI.Speech aracılığıyla işletim sisteminin yerel modelini kullanıyor. Microsoft belgeleri bu API’nin Copilot+ bilgisayarlarda NPU, uygun diğer sistemlerde CPU üzerinde çalışabildiğini; Windows 11 24H2 ve Windows App SDK 1.7.1 veya sonrasını gerektirdiğini belirtiyor. Projedeki NPU seçeneği İngilizceyle, ARM64 MSIX paketiyle ve önizleme API’siyle sınırlı.

Windows speech seçeneği ek model indirmeden, sözcük sözcük sonuç üretiyor; ancak yalnız mikrofon kaynağında kullanılabiliyor. Dört seçenek de geliştiriciye göre cihaz üzerinde çalışıyor. Bununla birlikte ilk Whisper ve Streaming model indirmeleri doğal olarak internet bağlantısı ve dış sunucu erişimi gerektiriyor.

Sürüm 0.5.0: ARM64 doğrulandı, x64 deneysel

Blog yazısı uygulamayı ARM64 Windows 11 ile sınırlı bir gösterim olarak tanımlıyor. Güncel 0.5.0 sürümünde ise üç paket var:

  • ARM64 MSIX: yaklaşık 30,3 MB; Windows yerel NPU motorunu içeren önerilen Snapdragon paketi.
  • ARM64 taşınabilir ZIP: yaklaşık 81,3 MB; kurulum gerektirmiyor fakat NPU motorunu içermiyor.
  • x64 deneysel ZIP: yaklaşık 87,2 MB; Intel/AMD için oluşturulmuş, NPU motoru olmayan taşınabilir paket.

x64 paketi CI tarafından derlenmiş ve mimarisi denetlenmiş olsa da geliştirici, gerçek bir x64 bilgisayarda hiç çalıştırılmadığını açıkça söylüyor. ARM64 Windows üzerinde x64 emülasyonuyla denenmesi ciddi sistem kilitlenmesine yol açmış; bu nedenle ARM64 kullanıcılarının yalnız ARM64 paketlerini seçmesi gerekiyor. “x64 paketi yayımlandı” ifadesi, “x64 desteği kararlı ve test edildi” anlamına gelmiyor.

Kurulum ve ilk kullanım

  1. GitHub sürümler sayfasından cihaz mimarinize uygun paketi seçin.
  2. Snapdragon ARM64 bilgisayarda NPU motoru gerekiyorsa imzalı MSIX paketini kurun. Klavyeyle PowerShell üzerinden Add-AppxPackage -Path .\AccessibleLiveCaptions-v0.5.0-win-arm64.msix kullanılabilir.
  3. Taşınabilir ZIP kullanıyorsanız arşivi çıkarıp uygulamayı çalıştırın. ARM64 üzerinde deneysel x64 paketini açmayın.
  4. Audio menüsünden mikrofon, tüm sistem sesi veya belirli uygulamayı seçin.
  5. Konuşma motorunu belirleyin; Whisper veya Streaming ilk kullanımda model indirebilir.
  6. Ctrl+R ile dinlemeyi başlatın; F8 ile otomatik ekran okuyucu duyurusunu ihtiyacınıza göre ayarlayın.

Windows SmartScreen yeni ve az indirilen uygulamalarda uyarı gösterebilir. Uyarının görünmesi tek başına zararlı yazılım kanıtı değildir, ancak güvenlik garantisi de sayılmaz. İndirdiğiniz dosya adını ve sürüm sayfasındaki SHA-256 özetini kontrol edin. 0.5.0 için GitHub’ın yayımladığı özetler ARM64 MSIX’te 9e5a26f2491359a332959daf6b8e87978882ad13983e0342e5c3416239cac4f4, ARM64 ZIP’te 810baced9d7e318dbccae223600c3aaa451b35e5f74e5731f1827530882c9ec7 ve deneysel x64 ZIP’te e25b72337386824ab590175b03c1cd622dc0ec1176d0c0444f158fb0614d2364 değeridir.

Gizlilik ve güvenlik değerlendirmesi

Ses işleme yerelde yapıldığı için toplantı veya video sesi bir bulut transkripsiyon API’sine gönderilmiyor ve API anahtarı gerekmiyor. Ancak dökümü TXT olarak kaydetmek yeni bir kalıcı veri oluşturur. Toplantıdaki kişisel bilgi, sağlık verisi veya iş sırrı metin dosyasında düz biçimde kalabilir; dosya izinleri, yedekleme ve paylaşım kanalları kullanıcı tarafından yönetilmelidir. Bir görüşmeyi kaydetme ve yazıya çevirme konusunda bulunduğunuz yerdeki mevzuatı ve katılımcıların beklentilerini de gözetin.

Kaynak kod MIT lisanslı ve depo arşivlenmiş değil. İncelenen ana dalda ayrı bir SECURITY.md bulunmuyor; güvenlik açıklarının nasıl özel bildirimle iletileceği belgelenmemiş. Ana daldaki son commit GitHub tarafından imzalı olarak doğrulanmıyor. Bunlar doğrudan zararlı davranış kanıtı değildir, fakat küçük ve erken aşamadaki projelerde güncelleme ve güvenlik sürecinin sınırlı olduğunu gösterir.

Sınırlamalar ve kimler denemeli?

  • Proje bir teknoloji gösterimi; olgun, kurumsal destekli bir ürün değil.
  • Doğrulanmış ana hedef Snapdragon X tabanlı ARM64 Copilot+ bilgisayar. x64 paket gerçek donanımda test edilmemiş.
  • NPU motoru önizleme Windows API’sine bağlı, İngilizce ve ARM64 MSIX ile sınırlı.
  • Tanıma doğruluğu; konuşmacı, mikrofon, arka plan gürültüsü, dil ve seçilen modele göre değişebilir.
  • Canlı otomatik metin kritik kararlar, resmî tutanak veya tek başına iletişim güvencesi olarak kullanılmamalı.
  • Türkiye Türkçesi için motor/model desteği ve gerçek doğruluk bu incelemede doğrulanmadı.

Accessible Live Captions, özellikle ekran okuyucuyla toplantı, yayın veya sistem sesini sonradan incelemek isteyen ileri düzey Windows kullanıcıları ve erişilebilir uygulama geliştiricileri için ilginç bir örnek. En güçlü yanı yeni bir konuşma modeli geliştirmesi değil; geçici altyazıyı odaklanabilir, kaydedilebilir ve kullanıcı tarafından kontrol edilen bir belgeye dönüştürmesi. Günlük kullanım için denemeden önce mimari sınırlamaları, deneysel sürüm durumunu ve kişisel dökümlerin güvenliğini hesaba katmak gerekiyor.

Kaynaklar

Uygulama Akademisi sitesinden daha fazla şey keşfedin

Subscribe to get the latest posts sent to your email.

Bir yanıt yazın