Представлена «Модель обучения казахскому языку Tilqazyna на основе ИИ
Национальный научно-практический центр «Тіл-Қазына» при Комитете языковой политики Министерства науки и высшего образования представил первые результаты разработки модели обучения казахскому языку Tilqazyna на основе искусственного интеллекта, передает Elordainfo.kz со ссылкой на пресс-службу Министерства науки и высшего образования РК.
В настоящее время модель способна решать задачи в различных областях казахского языка, включая лексику, морфологию, семантику и др. Она может генерировать текст на казахском языке, создавать перифразы, обрабатывать контекст, сокращать тексты, исправлять грамматические и пунктуационные ошибки, раскрывать значения фразеологизмов и переводить термины.
Эта специализированная LLM модель уже доступна на платформе Hugging Face, что позволяет пользователям работать с ней.
Использование модели откроет новые возможности для разработки IT-продуктов на казахском языке с применением искусственного интеллекта, что соответствует Посланию Президента Касым-Жомарта Токаева о превращении Казахстана в страну, активно использующую искусственный интеллект и развивающую цифровые технологии.
При создании модели эксперты центра «Тіл-Қазына» применяли алгоритмы обработки естественного языка и тщательно анализировали большие объемы данных. В частности:
- Для проверки слов использовались 684 876 лексических единиц.
- Для улучшения системы проверки словосочетаний было проанализировано 20 212 правильных и ошибочных вариантов.
- Для исправления пунктуационных ошибок обработано 5 558 текстов.
- Для коррекции структуры текста подготовлено 3 000 правильных и неправильных версий текстов.
- Для функции сокращения предложений создана база из 6 000 полных и сокращенных предложений.
- Для функции перифраза собрано 14 790 синонимических рядов.
- Общий объем обработанного корпуса казахского языка составил 35 ГБ.
В текущем году модель будет дополнена функцией голосового общения и разработкой удобного интерфейса для пользователей.
Кроме того, проект сможет обучать казахскому языку на уровнях A1, A2 и B1, с планами расширения до уровней B2 и C1 к 2026 году.
В конечном итоге проект приведет к созданию голосового помощника, который будет разрабатывать индивидуальную программу обучения казахскому языку в зависимости от уровня знаний пользователя.
Мобильное приложение будет доступно для операционных систем iOS и Android.