PATRYK KULPOK
← WRÓĆ DO MAPY SYSTEMU

SYSTEM R&D / 07

R&D · v0.1

KulAI Language Tutor

Lokalny tutor AI do ćwiczenia mówienia po angielsku z obsługą mieszanych wypowiedzi PL/EN.

Lokalny tutor AI do nauki mówienia po angielsku. Użytkownik może mówić po angielsku i wstawiać polskie słowa, gdy brakuje mu słownictwa. System rekonstruuje pełne zdanie po angielsku, wyjaśnia poprawki i kontynuuje rozmowę.

KotlinJetpack ComposeFastAPIPostgreSQLfaster-whisperOllamaQwenAndroid TTSLocal AI

TOŻSAMOŚĆ SYSTEMU

STATUSR&D

WERSJA0.1

TYPDziałający proof of concept

ROZWÓJRozwój wstrzymany po weryfikacji

01 / PROBLEM

Problem

Podczas nauki mówienia po angielsku zatrzymywanie rozmowy za każdym razem, gdy brakuje pojedynczego słowa, utrudnia budowanie płynności i pewności siebie.

KulAI Language Tutor miał pozwolić kontynuować wypowiedź po angielsku i tymczasowo wstawiać polskie słowa bez przerywania toku rozmowy.

02 / PROTOTYP

Prototyp

Nagranie przechodzi przez trzy przebiegi rozpoznawania Whisper dla mieszanej mowy polsko-angielskiej. Deterministyczne przetwarzanie wybiera kanoniczną transkrypcję. Rozpoznana wypowiedź użytkownika jest zachowywana dosłownie w historii rozmowy, niezależnie od poprawionej wersji angielskiej.

Lokalny pipeline tutora głosowego

  1. Wypowiedź głosowa
  2. Trzy przebiegi Whisper (PL/EN)
  3. Wybór kanonicznej transkrypcji
  4. Teacher LLM / korekta
  1. Better version + Why po polsku
  2. Conversation LLM / rozmowa
  3. Zapisana historia rozmowy
  4. Android TTS z obsługą PL/EN

Teacher LLM rekonstruuje pełne zdanie po angielsku jako Better version i wyjaśnia poprawki po polsku w osobnej sekcji Why. Conversation LLM odpowiada za kontynuowanie dialogu z wykorzystaniem historii rozmowy.

Rozmowa jest zapisywana w PostgreSQL. Odpowiedzi są dzielone na polskie i angielskie segmenty, które Android TextToSpeech odczytuje w odpowiednim języku. Użytkownik może ponownie odsłuchać zarówno odpowiedź tutora, jak i Better version.

03 / WNIOSKI

Najważniejsze wnioski R&D

  1. Jedno wywołanie LLM odpowiedzialne jednocześnie za wybór transkrypcji, korektę, wyjaśnienie i prowadzenie rozmowy było zbyt niestabilne.
  2. Podział odpowiedzialności między deterministyczne przetwarzanie, Teacher LLM i Conversation LLM znacząco poprawił niezawodność.
  3. Poprawność ustrukturyzowanego wyniku nie oznacza jakości językowej. Model może zwrócić całkowicie poprawny JSON, a jednocześnie podać słabe lub błędne wyjaśnienie gramatyczne.
  4. Mniejsze lokalne modele działały wystarczająco szybko, ale jakość nauczania była niewystarczająca.
  5. Większy lokalny model dawał znacznie lepsze wyniki, lecz opóźnienie inferencji na dostępnym sprzęcie było zbyt duże do naprawdę naturalnej rozmowy głosowej w czasie rzeczywistym.

04 / PODSUMOWANIE R&D

Podsumowanie R&D

Prototyp potwierdził poprawność całego lokalnego pipeline'u voice tutora.

Większy model zapewniał znacznie lepszą jakość korekt i wyjaśnień, jednak opóźnienie inferencji na obecnym sprzęcie było zbyt duże, aby prowadzić naprawdę płynną rozmowę głosową.

Możliwe były dalsze poprawki UI, promptów i szczegółów działania, ale nie rozwiązywałyby głównego ograniczenia wydajnościowego.

Dlatego rozwój został świadomie zatrzymany na wersji v0.1. Projekt pozostaje działającym proof of concept i projektem R&D, a nie produktem produkcyjnym.

Do codziennych ćwiczeń mówienia po angielsku wróciłem do ChatGPT, zachowując projekt jako podstawę przyszłych eksperymentów z szybszymi lokalnymi modelami i mocniejszym sprzętem.

05 / DEMO WIDEO

Demo wideo

Działający prototyp v0.1 na fizycznym urządzeniu z Androidem.

06 / TECHNOLOGIE

Technologie

  • Kotlin / Jetpack Compose
  • FastAPI
  • PostgreSQL
  • faster-whisper
  • Ollama
  • Qwen
  • Android TextToSpeech