AI на пристрої у вашому бюджетному додатку: як це працює та чому це важливо

AI-функції стали стандартом у додатках для особистих фінансів. Автокатегоризація, аналітика витрат, бюджетні підказки — питання вже не в тому, чи використовує ваш додаток AI, а де цей AI працює. Для більшості додатків відповідь: на віддаленому сервері, куди ваші транзакційні дані надсилаються через мережу.

Budgie використовує інший підхід. Кожна AI-функція — підказки категорій, пошук шаблонів на основі вкладень і введення транзакцій голосом — працює повністю на вашому пристрої. Ваші дані про витрати ніколи не покидають телефон для AI-обробки.

Ця стаття пояснює, що технічно означає AI на пристрої, чому це важливо для фінансової конфіденційності та як Budgie реалізує це від початку до кінця.

Що таке AI на пристрої?

AI на пристрої означає, що ваги моделі та обчислення виводу обидва знаходяться на вашому пристрої — в RAM, використовуючи CPU або апаратне забезпечення нейронного рушія — а не на хмарному сервері. Коли ви запитуєте підказку категорії, модель отримує ваш введення і видає результат без жодного мережевого виклику.

Хмарний AI проти AI на пристрої: ключова відмінність

• Хмарні AI-асистенти — Опис транзакції, назва продавця та сума серіалізуються й надсилаються до віддаленого API. Модель працює на інфраструктурі провайдера, повертає відповідь, і ваші дані журналюються для моніторингу якості та безпеки.
• AI на пристрої — Модель вбудована в додаток (або завантажується одноразово під час налаштування). Кожен виклик виводу залишається на вашому пристрої. Жодного мережевого запиту, жодного серверного журналу, жодна третя сторона ніколи не бачить введених даних.

Компроміс — розмір моделі. Хмарні провайдери можуть запускати моделі на мільярди параметрів на серверних кластерах без обмежень пам'яті або обчислень. Моделі на пристрої повинні вміщатися в бюджет пам'яті телефону, що обмежує їхній розмір. Сучасні методи квантизації драматично скоротили цю прогалину.

Чому фінансові дані — найгірше, що можна надсилати в хмару

Ваш потік транзакцій є одним із найбільш розкривальних наборів даних про вас. Він розкриває, де ви живете, де працюєте, які медичні стани у вас можуть бути, які політичні справи ви підтримуєте та якими є ваші стосунки. Надсилання його до віддаленого AI-сервісу для обробки має конкретні ризики:

• Журналювання виводу — Більшість хмарних AI-провайдерів журналюють введені дані для покращення моделі, перевірки безпеки та виявлення зловживань. Ваші описи транзакцій стають навчальними даними.
• Політики зберігання — Навіть за наявності гарантій конфіденційності дані зберігаються певний час. Політики змінюються. Відбуваються поглинання. Те, що приватно сьогодні, може не бути приватним завтра.
• Агрегований профайлінг — Коли мільйони користувачів надсилають подібні фінансові дані до одного сервісу, сукупність виявляє поведінкові шаблони, які можуть монетизуватися способами, що не чітко охоплені індивідуальними формами згоди.
• Поверхня атаки — Кожен сервер, що зберігає дані користувачів, є потенційною ціллю для злому. Обробка на пристрої повністю усуває цю поверхню для AI-компонента.

Як LLM на 1,7 млрд параметрів поміщається на телефоні

Ядром AI-категоризації Budgie є мовна модель на 1,7 млрд параметрів. Кілька років тому запуск моделі такого розміру на телефоні був би неможливим. Три прориви зробили це можливим:

Квантизація

Ваги моделі повної точності зберігаються як 32-бітні числа з плаваючою точкою, тобто кожен параметр займає 4 байти. Квантизація зменшує це до 4-бітних або 8-бітних цілих чисел, скорочуючи модель у 4-8 разів із незначною втратою точності. Модель на 1,7 млрд параметрів, квантизована до 4 бітів, займає приблизно 900 МБ — прийнятно для сучасних смартфонів.

Прискорення через нейронний рушій

Apple Silicon і сучасні процесори Android містять спеціалізоване апаратне забезпечення для обробки нейронних мереж. Ці чіпи виконують матричне множення — домінуючу операцію у виводі трансформерів — набагато ефективніше, ніж звичайний процесор. Вивід, що зайняв би секунди на CPU, займає мілісекунди на нейронному рушії.

Ефективні середовища виконання виводу

Середовища виконання, розроблені для мобільного виводу, обробляють управління пам'яттю, токенізацію та пакетну обробку способами, оптимізованими для обмежених середовищ. Вони мінімізують пікове використання пам'яті та підтримують тепловий слід достатньо низьким для звичайного використання без розрядки батареї.

Результат полягає в тому, що Budgie може запускати потужну мовну модель у фоновому режимі, пропонувати категорію за частку секунди, і робити це повністю офлайн — без мережевої затримки та серверних витрат.

Вкладення та LLM у спільній роботі: двоетапний стек підказок

Budgie використовує дві взаємодоповнювальні AI-техніки для категоризації транзакцій. Вони вирішують різні частини проблеми і разом забезпечують точніші підказки, ніж будь-який підхід окремо.

Етап 1: Пошук шаблонів на основі вкладень

Коли ви вперше вводите транзакцію, Budgie конвертує назву продавця та опис у щільне векторне вкладення — числове представлення, що відображає семантичне значення. Це вкладення порівнюється з вкладеннями ваших минулих транзакцій за допомогою векторної схожості.

Якщо у вас є раніше категоризовані транзакції від того самого продавця, збіг вкладень повертає ці категорії з високою впевненістю. Модель вкладень є невеликою і швидкою — вона видає підказки за мілісекунди і особливо добре розпізнає продавців, яких ви вже зустрічали.

Етап 2: Семантична категоризація на основі LLM

Коли етап вкладень видає результати з низькою впевненістю — наприклад, з новим продавцем або неоднозначним описом — повна мовна модель бере управління. LLM отримує опис транзакції та ваш список категорій як контекст і генерує ранговану підказку.

LLM є повільнішим за пошук вкладень, але добре обробляє нові введення. Він розуміє, що платіж від аптеки має відноситися до охорони здоров'я, навіть якщо ніколи не бачив цього конкретного продавця раніше, оскільки навчився семантичному зв'язку між типами продавців і категоріями витрат.

Обидва етапи виконуються повністю на вашому пристрої. Вкладення зберігаються локально поряд з вашою базою транзакцій. Ваги LLM вбудовані в додаток. Жодних даних не надсилається до віддаленої кінцевої точки на жодному етапі цього ланцюга.

Whisper.rn для голосу: офлайн перетворення мовлення в текст

Budgie підтримує введення транзакцій голосом на базі Whisper.rn — React Native порту OpenAI Whisper, моделі розпізнавання мовлення з відкритим вихідним кодом. Whisper працює повністю на пристрої. Коли ви вимовляєте транзакцію, аудіо обробляється локально і транскрибується без надсилання до будь-якого API розпізнавання мовлення.

Чому це важливо для конфіденційності

Хмарні сервіси розпізнавання мовлення отримують необроблене аудіо. Це аудіо може містити більше, ніж просто транзакцію, яку ви хочете записати — фонові розмови, навколишні звуки, особисто ідентифікаційну інформацію. Хмарні провайдери регулярно використовують аудіозразки для покращення своїх моделей.

Whisper, що працює на вашому пристрої, ніколи не надсилає аудіо нікуди. Модель отримує ваш аудіобуфер, видає транскрипт, і на цьому потік даних закінчується. Жодного аудіожурналу, жодного віддаленого API-виклику, жодної третьої сторони.

Як працює голосовий процес

• Ви натискаєте кнопку голосового введення і вимовляєте деталі транзакції — суму, продавця та необов'язкові нотатки.
• Whisper транскрибує аудіо локально, видаючи текстовий рядок.
• Транскрибований текст передається до двоетапного стека категоризації, описаного вище.
• Budgie відображає попередньо заповнену форму транзакції з витягнутою сумою та запропонованою категорією для вашого перегляду перед збереженням.

Весь процес — від аудіо до збереженої транзакції — відбувається офлайн. Він працює в режимі польоту, у зонах без сигналу та будь-якою мовою, яку підтримує Whisper.

Гарантії конфіденційності, які можна перевірити у вихідному коді

Budgie є відкритим вихідним кодом. Заяви про конфіденційність у цій статті — не декларації політики, а архітектурні факти, видимі в кодовій базі. Ви можете перевірити:

• Жодних мережевих запитів під час AI-виводу — Сервіс категоризації використовує лише локальні файли моделі та локальну базу даних SQLite. Жодних HTTP-запитів до зовнішніх AI-точок доступу.
• Жодних аудіоданих за межами пристрою — Модуль введення голосом використовує Whisper.rn з локальним файлом моделі. Аудіобуфери обробляються в пам'яті та видаляються після транскрипції.
• Вектори збережені у локальному SQLite — Вектори вкладень для вашої історії транзакцій зберігаються в тій самій зашифрованій базі даних, що й ваші транзакції. Вони не синхронізуються з жодним сервером.
• Жодної телеметрії використання AI — Budgie не збирає аналітику про те, які AI-функції ви використовуєте, як часто приймаєте підказки або до яких категорій відносяться ваші транзакції.

Якщо ви хочете перевірити ці твердження самостійно, вихідний код є загальнодоступним. Вам не потрібно вірити нам на слово.

Часті запитання