Ускладнення бар'єрів технологій Web2 у сфері штучного інтелекту, Web3 AI повинна шукати диференційовані точки прориву

Останнім часом еволюція мультимодальних моделей не завдала удару провідним AI-компаніям, а навпаки, ще більше закріпила технологічні переваги Web2 AI. Від семантичного вирівнювання до візуального розуміння, від високорозмірних вбудовувань до злиття особливостей, складні моделі інтегрують різні модальності вираження з небаченою швидкістю, створюючи все більш закриту AI-територію. Ця хвиля практично не має відношення до сфери криптовалют.

Схоже, що недавні спроби Web3 AI в напрямку Agent були невірними. Намагання зібрати модульну систему з багатьма модальностями в стилі Web2 на основі децентралізованої структури насправді є подвійним розривом у технологіях і мисленні. У сьогоднішньому світі, де модулі мають дуже високу взаємозв'язок, розподіл ознак є надзвичайно нестабільним, а вимоги до обчислювальної потужності зростають, модульна система з багатьма модальностями важко може знайти своє місце в середовищі Web3.

Майбутнє Web3 AI не повинно бути сліпим наслідуванням, а повинно бути стратегічним обходом. Від семантичного вирівнювання у високорозмірному просторі до інформаційного вузького місця в механізмі уваги, і до вирівнювання ознак під різнорідними обчислювальними потужностями, Web3 AI потребує знайти нові шляхи, щоб знайти відмінні точки прориву.

Web3 AI важко досягти високорівневої семантичної відповідності

У сучасних мультимодальних системах Web2 AI "семантичне вирівнювання" є ключовою технологією, яка дозволяє відображати інформацію з різних модальностей в одному семантичному просторі. Це вимагає наявності високовимірного вбудованого простору як передумови для досягнення міжмодальної семантичної розуміння та порівняння.

Проте, реалізація високодоменної вкладки протоколу Web3 Agent є складною. Більшість Web3 Agent лише упаковують існуючі API в незалежні модулі, відсутній єдиний центральний вбудований простір та міжмодульний механізм уваги. Це призводить до того, що інформація не може взаємодіяти між модулями з багатьох ракурсів і на багатьох рівнях, а може оброблятися лише за лінійним процесом, що ускладнює формування цілісної замкнутої оптимізації.

Щоб реалізувати повноланковий інтелектуальний агент з галузевими бар'єрами, необхідно почати з об'єднаного моделювання від початку до кінця, єдиного вбудовування між модулями, а також системної інженерії для спільного навчання та впровадження. Але на ринку наразі немає такого запиту, отже, також відсутні відповідні болі.

Низьковимірний простір обмежує точне проектування механізму уваги

Високоякісні мультимодальні моделі потребують точно спроектованих механізмів уваги. Цей механізм дозволяє моделі динамічно зосереджуватись на найбільш релевантних частинах під час обробки вхідних даних. Однак, умова для ефективності механізму уваги полягає в наявності високорозмірних представлень мультимодальностей.

Web2 AI під час проектування механізму уваги використовував складні архітектури, такі як Query-Key-Value, для досягнення ефективної та точної фокусування інформації. На відміну від цього, модульний Web3 AI важко реалізує єдине планування уваги. Кожен незалежний API повертає дані у різних форматах і розподілах, відсутня єдина вбудована лінія, що ускладнює формування інтерактивного Q/K/V простору.

Крім того, модульна архітектура Web3 AI також ускладнює реалізацію паралельної багатоголової уваги та динамічного розподілу ваг на основі глобального контексту. Ці обмеження ускладнюють досягнення рівня продуктивності Web2 AI при обробці складних багатомодальних завдань.

Злиття характеристик залишається на поверхневому статичному зшиванні

У Web2 AI злиття ознак ґрунтується на вирівнюванні та увазі, що дозволяє глибоко поєднувати векторні ознаки, оброблені різними модальностями. Проте в Web3 AI, через відсутність високорозмірних представлень і точних механізмів уваги, злиття ознак часто залишається на найпростішій стадії з'єднання.

Web2 AI схильний до тренування з нуля до кінця, обробляючи багатомодальні характеристики в одному високорозмірному просторі, співпрацюючи з нижчими завданнями через шари уваги та злиття. На відміну від цього, Web3 AI частіше використовує дискретні модульні з'єднання, упаковуючи різні API в незалежні агенти, просто комбінуючи їх виходи, відчуваючи брак єдиної цілі тренування та міжмодульного потоку градієнтів.

Крім того, Web2 AI може використовувати механізм уваги для динамічного налаштування стратегій злиття, тоді як Web3 AI зазвичай використовує фіксовані ваги або прості правила. У вимірі ознак і складності взаємодії Web3 AI також важко порівняти з Web2 AI, який відображається у високих вимірах. Ці розриви призводять до того, що Web3 AI погано справляється з обробкою складних крос-модальних завдань.

Бар'єри в галузі ШІ поглиблюються, але можливості ще не з'явилися

Мультимодельна система Web2 AI є великим інженерним проєктом, який потребує величезних обсягів даних, потужних обчислювальних ресурсів, передових алгоритмів та складної інженерної реалізації. Це створює дуже високі бар'єри для входження в галузь і формує основну конкурентоспроможність кількох провідних команд.

Проте, Web3 AI не повинен сліпо слідувати. Він має зосередитися на перевагах децентралізації, шукати можливості в таких сценаріях, як крайові обчислення. Завдання, які підходять для Web3 AI, включають легкі структури, легкі для паралелізації та стимулювання завдання, такі як тонка настройка LoRA, після навчання з поведінковим вирівнюванням, обробка даних з натовпу, навчання малих базових моделей тощо.

Зараз бар'єри Web2 AI тільки починають формуватися, це рання стадія конкурентної боротьби провідних компаній. Web3 AI потрібно дочекатися, поки зникнуть переваги Web2 AI, щоб знайти справжні можливості для входу. До цього Web3 AI має обережно вибирати точки входу, застосовуючи стратегію "села оточують місто", накопичуючи досвід з периферійних сценаріїв і зберігаючи гнучкість для реагування на постійно змінювані вимоги ринку.