Новини про Національну велику мовну модель "Сяйво"
Національна велика мовна модель "Сяйво" перейшла до закритого бета-тестування
Національна велика мовна модель "Сяйво", яку спільно розробляють Міністерство цифрової трансформації та "Київстар", перейшла до закритого бета-тестування. Про це повідомила команда "Київстару", яка відповідає за координацію розробки, хмарну інфраструктуру та навчання моделі.
Де зараз знаходиться модель
Наразі "Сяйво" існує у форматі зменшеного прототипу - не повноцінної LLM, а експериментальної версії для перевірки архітектурних рішень і специфіки роботи з українською мовою. Масштабування до повноцінної великої мовної моделі заплановане на наступних етапах проєкту. Базові стадії навчального пайплайну вже пройдені - передтренування та supervised fine-tuning завершені. Команда зараз перебуває на фазі alignment.
"На сьогодні завершено базові стадії навчального пайплайну: pre-training та supervised fine-tuning. Модель перебуває на етапі alignment, де основна увага приділяється вирівнюванню поведінки з цільовими вимогами до якості, безпеки, стабільності та якості відповідей", - повідомила команда "Київстару".
До закритого тестування залучили чотири наукових комітети проєкту - лінгвістичний, історичний, технічний та етико-правовий. Їхнє завдання - оцінити якість відповідей, знайти слабкі місця й надати рекомендації щодо вдосконалення.
Питання суверенітету
Паралельно з технічними новинами головний ШІ-офіцер Мінцифри Роман Кислий в інтерв'ю 24 Каналу пояснив ширший контекст. За його словами, проєкт - це не просто модель, а питання національної безпеки.
"Ми будуємо власну державну ШІ-інфраструктуру AI Factory. Це питання національної безпеки: ми будуємо суверенні обчислювальні потужності на базі NVIDIA, щоб тренувати моделі та зберігати критичні дані всередині країни, не залежачи від іноземних хмарних рішень", - заявив Кислий 24 Каналу.
До нової посади він роками розвивав українське NLP у волонтерському форматі, зокрема співорганізовував конференцію UNLP - найбільший майданчик з обробки природної мови українською. Саме через цю діяльність він звертає особливу увагу на структурну проблему сучасних LLM.
"Більшість даних, на яких тренуються сучасні моделі, - це англомовний контент. Чим більше ми додаємо якісних українських даних, чим більше публічно доступних датасетів ми створюємо - тим краще моделі розуміють українську мову і контекст", - наголошував Кислий в коментарі dev.ua.
Дані, архітектура, плани
Технологічним фундаментом "Сяйва" обрали Gemma 3 від Google - відкриту модель із підтримкою понад 35 мов, зокрема й української, та мультимодальними можливостями. Для тренування зібрали матеріали від понад 50 медіа, університетів і бібліотек.
"Укрдержархів передав 10 терабайтів документів різних епох - друкованих і рукописних, наукових і архівних", - відзначили.
Кінцева ціль - модель, яка стане базою для державних і комерційних ШІ-продуктів. Першими точками інтеграції визначені ШІ-асистент у "Дії" та освітній тьютор у "Мрії". Загальний обсяг інвестицій у проєкт, за наявними даними, перевищить $20 млн. Назву "Сяйво" модель отримала після відкритого голосування в "Дії" наприкінці березня - за неї проголосували понад 22 000 учасників із 136 000, що взяли участь.
