ПРОГРАМНА СИСТЕМА ЗІ ШТУЧНИМ ІНТЕЛЕКТОМ ДЛЯ ПЕРЕКЛАДУ УКРАЇНСЬКОЇ ВЕРБАЛЬНОЇ МОВИ НА ЖЕСТОВУ МОВУ

Владислав ЛУЦ; Олександр БЕЗВЕРХИЙ; Євгеній ТОПОЛЬСЬКОВ

doi:10.17721/3041-2323.2025.137-164

Автор(и)

Владислав ЛУЦ Національний транспортний університет Автор
Олександр БЕЗВЕРХИЙ Національний транспортний університет Автор
Євгеній ТОПОЛЬСЬКОВ Київський національний університет імені Тараса Шевченка Автор

DOI:

https://doi.org/10.17721/3041-2323.2025.137-164

Ключові слова:

інклюзивні та асистивні технології, українська жестова мова, штучний інтелект, автоматичне розпізнавання мовлення, модель Whisper, лематизація, корекція помилок на основі JSON, GPU CUDA прискорення

Анотація

У роботі подано програмну систему, призначену для перекладу української мови на анімації жестової мови у режимі реального часу. Система використовує модель Whisper для автоматичного розпізнавання мови, забезпечуючи надійну транскрипцію усної української мови. Оскільки українська мова є високофлексійною, а жестова мова не використовує граматичні відмінки, реалізовано модуль виправлення на основі JSON. Він охоплює два компоненти: словник для частих помилок розпізнавання та механізм лематизації, який переписує слова у їх базову форму. Нормалізований текст потім відображається на GIF-анімаціях, кожна з яких представляє відповідний жест української жестової мови. Процес перекладу відбувається в реальному часі, забезпечуючи послідовне відображення анімацій, синхронізованих із розпізнаною мовою. Рішення демонструє, як технічну ефективність (низьку затримку, модульну структуру), так і соціальний вплив через покращення доступності комунікацій для людей з вадами слуху чи тих, хто використовує жестову мову як основний засіб спілкування. Потенційні застосування охоплюють інклюзивну освіту, повсякденні взаємодії та розроблення технологій, адаптованих до потреб спільноти з вадами слуху та мовлення.

Посилання

Alphacephei. (n.d.). Vosk speech recognition toolkit: Vosk API documentation. https://alphacephei.com/vosk/

Camgoz, N. C., Koller, O., Hadfield, S., & Bowden, R. (2020). Sign language transformers: Joint end-to-end sign language recognition and translation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10023–10033).

Dreuw, P., Neidle, C., Athitsos, V., Sclaroff, S., & Ney, H. (2007). Benchmark databases for video-based automatic sign language recognition. In Proceedings of the 6th International Conference on Language Resources and Evaluation (pp. 1558–1563).

Elliott, R., Glauert, J.R.W., Kennaway, J.R., Marshall, I., & Sáfár, É. (2008). Linguistic modeling and language-processing technologies for avatar-based sign language presentation. Universal Access in the Information Society, 6(4), 375–391. https://doi.org/10.1007/s10209-007-0102-z

Efthimiou, E., Fotinea, S. E., Dimou, A. L., & Karioris, P. (2009). Developing an eLearning platform for the Greek sign language. In Proceedings of the International Conference on eLearning and Accessibility for the Disabled (eLAD 2009) (pp. 43–50). Hellenic Open University.

Krak, Iu., Barmak, O., & Romanyshyn, S. (2017). Information technology for automated translation from inflected languages to sign language. In W. Wojcik & J. Sikora (Eds.), Recent advances in information technology (pp. 35–48). CRC Press.

López-Ludeña, V., San-Segundo, R., Montero, J. M., Barra-Chicote, R., & Lorenzo, J. (2014). Architecture of a Spanish into sign language translation system. In Proceedings of the 9th International Conference on Language Resources and Evaluation (pp. 2819–2823). European Language Resources Association.

Moryossef, A., Yin, K., Neubig, G., & Goldberg, Y. (2021). Data augmentation for sign language gloss translation. In Proceedings of the 1st International Workshop on Automatic Translation for Signed and Spoken Languages (pp. 1–11).

Othman, A., & Jemni, M. (2012). Statistical sign language machine translation: From English written text to American sign language gloss. International Journal of Computer Science Issues, 9(4), 65–73.

Prystupa, M., & Sydorenko, T. (2019). Morphological complexity in the Ukrainian language and its implications for NLP. In Proceedings of the International Conference on Computational Linguistics (COLING). Association for Computational Linguistics. https://aclanthology.org/

Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., & Sutskever, I. (2022). Whisper: Robust speech recognition via large-scale weak supervision [OpenAI Technical Report]. https://cdn.openai.com/papers/whisper.pdf

Saunders, B., Camgoz, N. C., & Bowden, R. (2020). Progressive transformers for end-to-end sign language production. In European Conference on Computer Vision (pp. 687–705). Springer.

Speers, D. (2001). Representation of American Sign Language for machine translation [Doctoral dissertation, Georgetown University].

Stein, D., Bungeroth, J., & Ney, H. (2006). Morpho-syntax based statistical methods for sign language translation. In Proceedings of the 11th Annual Conference of the European Association for Machine Translation (pp. 169–177).

Sutton, V. (2019). SignWriting: Read and write any sign language. SignWriting Press.

Ukrainian Society of the Deaf (UTOG). (2020). Ukrainian Sign Language dictionary. https://utog.org/

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS). https://arxiv.org/abs/1706.03762

Yin, K., & Read, J. (2020). Better sign language translation with STMC-transformer. In Proceedings of the 28th International Conference on Computational Linguistics (pp. 5975–5989).

Zhao, L., Kipper, K., Schuler, W., Vogler, C., Badler, N., & Palmer, M. (2000). A machine translation system from English to American Sign Language. In Conference of the Association for Machine Translation in the Americas (pp. 54–67). Springer.