Audo-Sight Nedir?

Audo-Sight, Multimodal LLM (MLLM) teknolojisini kullanarak görme engellilere kişiselleştirilmiş ve bağlama duyarlı geri bildirimler sunan bir yapay zekâ sistemidir. Sadece görüntüleri algılamakla kalmaz; kullanıcının bulunduğu ortamı ve amacını yorumlayarak en uygun rehberliği sağlar.

• Müzede sergilenen eserleri tanıtma ve özetleme,
• Alışveriş merkezinde mağaza konumlarını tarif etme,
• Yaya geçidinde trafik ışıkları ve engelleri tespit ederek güvenli yönlendirme yapma.

Kısa Özet: Audo-Sight, görsel, işitsel ve konumsal verileri tek bir akıllı akışta birleştirip “doğru zamanda, doğru bilgiyi” sesli olarak sunar.

Nasıl Çalışır?

Sistem; kamera, mikrofon ve konum verilerini bir araya getirerek multimodal analiz yapar. Arka plandaki yapay zekâ bileşenleri üç temel katmanda çalışır:

1) Görsel Analiz

• Nesne tanıma (ör. YOLO-World gibi ileri seviye tespit algoritmaları),
• Çevre betimlemesi ve sahne anlayışı,
• Dinamik engel tespiti ve yaklaşan risklere ilişkin uyarılar.

2) Sesli Etkileşim

• Doğal dilde iki yönlü konuşma,
• Kullanıcının sorularına bağlama uygun yanıtlar,
• Eller serbest kullanım için telefon/kulaklık veya giyilebilir cihazlarla uyum.

3) Kontekst Duyarlılığı

• Bulunulan ortama (müze, AVM, açık alan vb.) göre açıklamaların uyarlanması,
• Kullanıcının hedefi (ör. “en yakın çıkışa git”) doğrultusunda bilgi önceliklendirme,
• Gürültü ve ışık gibi çevresel etkenlere karşı sağlamlaştırılmış geri bildirimler.

SmartSight Entegrasyonu

SmartSight ile entegrasyon, gerçek zamanlı görsel analizden elde edilen verilerin anında sesli rehberliğe dönüşmesini sağlar. Böylece kullanıcı:

• Gecikmesi düşük yönlendirme ve anlık durumsal farkındalık elde eder,
• Kalabalık ortamlarda (ör. müze, AVM) daha doğru ve hızlı bilgilendirme alır,
• Kişisel ihtiyaçlarına göre özelleştirilmiş bilgi akışıyla daha bağımsız hareket eder.

Öne Çıkan Özellikler

• Multimodal Yapay Zekâ: Görsel + işitsel + konumsal verilerin birlikte işlenmesi.
• Kontekst Farkındalığı: Ortama göre içerik üretme ve yönlendirme.
• Gerçek Zamanlı Rehberlik: Anında sesli geri bildirim ve yön bulma desteği.
• Taşınabilirlik: Giyilebilir cihazlar ve mobil uygulamalarla uyumlu çalışma.
• Erişilebilir Tasarım: WCAG ilkeleriyle uyumlu, ekran okuyucu-dostu arayüzler.

Görme Engelliler İçin Katkıları

• Bağımsızlık: Günlük işlerde daha az yardım ihtiyacı.
• Güvenlik: Dinamik engeller ve riskler için proaktif uyarılar.
• Hızlı Uyum: Yeni ortamlara daha hızlı alışma ve keşif.
• Sosyal Katılım: Daha yüksek özgüven ve etkin katılım.

Sonuç

Audo-Sight, yalnızca bir teknoloji değil; görme engellilerin dünyayla etkileşim biçimini iyileştiren kapsayıcı bir yaklaşım sunuyor. Multimodal yapay zekâ ve bağlam farkındalığı sayesinde, kullanıcıya sadece bilgi vermekle kalmıyor; doğru anda, doğru bilgiyi sunarak güvenli ve bağımsız yaşamı güçlendiriyor.