Zaimplantowani

Moduł do rehabilitacji słuchu wspierający pacjentów z implantem ślimakowym w codziennych ćwiczeniach rozumienia mowy.

O projekcie

Wydział Fizyki Uniwersytetu w Białymstoku prowadzi platformę ZAIMPLANTOWANI (EARPLANTED) – narzędzie wspierające rehabilitację osób korzystających z implantów ślimakowych. Dotychczas platforma pomagała ćwiczyć rozpoznawanie melodii. Naszym zadaniem było dodanie drugiego, równie ważnego filaru rehabilitacji: ćwiczenia rozumienia mowy.

Efektem jest Moduł Percepcji Mowy (MPM) – pacjent wybiera dowolny materiał, który go interesuje (audiobook, własne nagranie głosowe albo nawet zwykły e-book, który system sam zamieni na mowę), słucha go fragment po fragmencie i powtarza usłyszane słowa na głos. Aplikacja automatycznie sprawdza, na ile dokładnie pacjent zrozumiał tekst i pokazuje mu to w prosty, liczbowy sposób – żeby widział swoje postępy z tygodnia na tydzień.

Cel projektu

Rehabilitacja słuchu po wszczepieniu implantu to długi i wymagający proces – często żmudny i zniechęcający. Celem modułu było sprawienie, żeby codzienne ćwiczenia były jak najmniej uciążliwe, a jednocześnie dawały pacjentowi i lekarzowi jasny obraz postępów.

Moduł miał zapewnić:

  • pracę na materiale, który pacjent sam wybiera i lubi (ulubiona książka, własne nagranie), zamiast narzuconych, sztucznych ćwiczeń,
  • automatyczne sprawdzanie, jak dobrze pacjent rozumie usłyszaną mowę, bez angażowania na co dzień terapeuty,
  • dwa poziomy trudności – dla osób zaczynających rehabilitację i dla tych, które radzą sobie już całkiem dobrze i chcą ćwiczyć tylko trudniejsze fragmenty,
  • dostępność w pięciu językach (polski, angielski, niemiecki, francuski, włoski),
  • wygodę obsługi dla osób z niepełnosprawnościami – duże, czytelne przyciski, minimalna liczba kliknięć do rozpoczęcia ćwiczenia,
  • pełną zgodność z RODO, ponieważ moduł przetwarza wrażliwe dane, w tym nagrania głosu pacjenta.
Wyzwania projektowe

Największym wyzwaniem było poradzenie sobie z tym, że żaden system automatycznego rozpoznawania mowy nie jest w 100% dokładny – czasem coś się przesłyszy, tak jak człowiekowi. Musieliśmy zaprojektować sposób, w jaki pacjent może poprawić taką pomyłkę systemu, bez ryzyka, że popsuje sobie tym samym historię swoich wcześniejszych ćwiczeń.

Kolejnym wyzwaniem było to, że komputer, na którym moduł ma działać na uczelni, nie ma specjalistycznej karty graficznej przyspieszającej sztuczną inteligencję. Trzeba było tak zaprojektować całe rozpoznawanie i generowanie mowy, żeby sprawnie działało na zwykłym procesorze – z możliwością łatwej rozbudowy w przyszłości, gdyby zdecydowano się na mocniejszy sprzęt.

Osobnym wyzwaniem było uczciwe policzenie wyniku pacjenta – żeby jeden krótki, źle zrozumiany fragment nie „zaniżał” statystyk tak samo mocno, jak długi fragment pełen błędów i odwrotnie. To wymagało przemyślanej metody liczenia wyników w skali całej sesji ćwiczeń, a nie tylko pojedynczej wypowiedzi.

Dodatkowo moduł musiał „wpiąć się” w istniejącą, działającą od lat platformę tak, żeby pacjenci logowali się w jednym miejscu i nie zauważyli, że korzystają w praktyce z dwóch połączonych systemów. Samo wdrożenie nie mogło zatrzymać działania platformy na dłużej niż kilka dni.

Nasze podejście – proces współpracy

Punktem wyjścia była szczegółowa specyfikacja od zespołu Uniwersytetu, opisująca krok po kroku, jak ma wyglądać ćwiczenie z perspektywy pacjenta – od wgrania materiału, przez słuchanie i powtarzanie, po sprawdzenie wyniku. Na tej podstawie zaprojektowaliśmy całą aplikację i sposób, w jaki dane pacjenta są bezpiecznie zapisywane.

Zadbaliśmy o to, żeby logowanie do nowego modułu było niewidoczne dla pacjenta – wchodzi on na dotychczasową platformę, klika jeden kafelek i trafia prosto do ćwiczenia, bez ponownego wpisywania hasła.

Równolegle z budową aplikacji przygotowaliśmy scenariusz filmu instruktażowego, który krok po kroku pokazuje pacjentowi, jak korzystać z modułu – od rejestracji, przez pierwsze ćwiczenie, po sprawdzenie swoich wyników. Film, podobnie jak cały moduł, jest dostępny w pięciu wersjach językowych.

Architektura i technologie

Aplikację zbudowaliśmy w oparciu o nowoczesny stack webowy (Next.js, NestJS, baza danych MariaDB), skonteneryzowany w Dockerze, co ułatwia utrzymanie i dalszy rozwój przez zespół uczelni.

Do rozpoznawania mowy i zamiany tekstu na mowę wykorzystaliśmy sprawdzone, otwartoźródłowe silniki AI (WhisperX i Piper TTS), działające lokalnie na serwerze uczelni – bez wysyłania nagrań głosu pacjentów do zewnętrznych, płatnych usług w chmurze. To ważne nie tylko ze względów kosztowych, ale przede wszystkim prywatności – dane wrażliwe pacjentów nigdy nie opuszczają infrastruktury Uniwersytetu.

Przetwarzanie dłuższych nagrań (np. całych audiobooków) odbywa się w tle, tak żeby pacjent nie musiał czekać przed ekranem – może zamknąć aplikację i wrócić, gdy materiał będzie już gotowy.

Wydajność i bezpieczeństwo

Cała komunikacja w module jest szyfrowana, a dostęp do danych każdego pacjenta jest ściśle odseparowany. Nikt nie ma wglądu w materiały czy wyniki innej osoby.

System spełnia wymogi RODO: pacjent może w każdej chwili poprosić o usunięcie swojego konta i danych, a materiały, z których korzystał, są automatycznie kasowane, jeśli nie są już używane. Oryginalne pliki wgrane przez pacjenta (np. fragment audiobooka) są usuwane z systemu zaraz po ich przetworzeniu, co dodatkowo chroni przed naruszeniem praw autorskich.

Rezultaty
  • Nowy moduł rehabilitacyjny działający w ramach jednego, znanego pacjentom konta na platformie ZAIMPLANTOWANI.
  • Rozpoznawanie i synteza mowy działające lokalnie na serwerze uczelni, bez kosztów zewnętrznych usług AI i bez wysyłania danych pacjentów na zewnątrz.
  • Czytelny, liczbowy wskaźnik postępów w rozumieniu mowy, zrozumiały zarówno dla pacjenta, jak i prowadzącego rehabilitację specjalisty.
  • Interfejs i film instruktażowy dostępne w pięciu językach, zaprojektowane z myślą o osobach z niepełnosprawnościami.
  • Pełna zgodność z RODO w obsłudze wrażliwych danych pacjentów, gotowa do dalszej rozbudowy modułu w przyszłości.