Штучний інтелект та Криптоактиви: від нуля до вершини

Технології штучного інтелекту останнім часом досягли проривного прогресу, і деякі вважають їх четвертою промисловою революцією. Поява великих мовних моделей суттєво підвищила ефективність у різних галузях, а компанія Boston Consulting вважає, що GPT підвищило ефективність роботи в США приблизно на 20%. Водночас генералізаційні можливості великих моделей вважаються новою парадигмою проектування програмного забезпечення, яка відрізняється від традиційного точного написання коду; тепер проектування програмного забезпечення більше зосереджене на вбудовуванні генералізованих великих моделей у програмне забезпечення, що забезпечує кращу продуктивність і підтримку більш широкого діапазону модальних вхідних та вихідних даних. Технології глибокого навчання справді принесли нову хвилю процвітання в індустрію ШІ, і цей бум також поширився на Криптоактиви.

Історія розвитку індустрії штучного інтелекту

Індустрія штучного інтелекту розпочалася в 50-х роках XX століття, для реалізації бачення штучного інтелекту академічна та промислова сфери в різні періоди на основі різних наукових дисциплін розвинули кілька шкіл для реалізації штучного інтелекту.

Сучасні технології штучного інтелекту в основному використовують метод "машинного навчання", концепція якого полягає в тому, щоб дозволити машинам покладатися на дані для багаторазової ітерації в завданнях з метою покращення продуктивності системи. Основні етапи включають: введення даних в алгоритм, навчання моделі на даних, тестування та впровадження моделі, використання моделі для виконання автоматизованих прогнозних завдань.

Наразі машинне навчання має три основні школи: з'єднувальна, символічна та поведінкова, які імітують людську нервову систему, мислення та поведінку відповідно. З'єднувальна школа, що представлена нейронними мережами, домінує ( також відома як глибоке навчання ). Архітектура нейронної мережі включає вхідний шар, вихідний шар та кілька прихованих шарів, коли кількість шарів та нейронів ( параметрів ) достатньо велика, вона може підлаштуватися під складні загальні завдання. Шляхом постійного коригування параметрів нейронів на основі введених даних, зрештою нейрони досягають оптимального стану ( параметрів ).

Технології глибокого навчання також пройшли через кілька ітерацій та еволюцій, починаючи з найраніших нейронних мереж, до мереж із прямою передачею, RNN, CNN, GAN, і нарешті розвиваючись до сучасних великих моделей, таких як GPT, які використовують технологію Transformer. Технологія Transformer є лише одним із напрямків еволюції нейронних мереж, вона додає перетворювач, який використовується для кодування даних різних модальностей (, таких як аудіо, відео, зображення тощо ) в відповідні числові представлення, а потім вводить їх у нейронну мережу, що дозволяє нейронній мережі підлаштовуватися під будь-який тип даних, реалізуючи мультимодальність.

Розвиток ШІ пройшов три технічні хвилі:

1. У 1960-х роках перша хвиля, спричинена розвитком символістських технологій, вирішила проблеми загальної обробки природної мови та діалогу між людиною і комп'ютером. Водночас з'явилися експертні системи.

2. У 1997 році "Глибокий синій" IBM переміг чемпіона світу з шахів Гаррі Каспарова, що стало знаком другої хвилі розвитку технологій штучного інтелекту.

3. У 2006 році було запропоновано концепцію глибокого навчання, що спричинило третю хвилю технологій. Алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer і Stable Diffusion, формуючи розквіт коннекціонізму.

! Newcomer Science丨AI x Crypto: від нуля до піку

Ланцюг промисловості глибокого навчання

Сучасні великі мовні моделі зазвичай використовують методи глибокого навчання на основі нейронних мереж. Моделі великого масштабу, представлені GPT, викликали нову хвилю штучного інтелекту, до цього сегменту ринку ринувала велика кількість учасників, і попит на дані та обчислювальні потужності різко зріс. Тому ми зосереджуємося на вивченні виробничого ланцюга алгоритмів глибокого навчання, аналізуючи, як складаються їх верхні та нижні ланки в галузі штучного інтелекту, що домінує в глибокому навчанні, а також стан верхніх і нижніх ланок, їх відносини попиту та пропозиції та майбутній розвиток.

Навчання великих мовних моделей, таких як GPT, на основі технології Transformer (LLMs), в основному, ділиться на три етапи:

1. Передтренування: введення великої кількості пар даних для пошуку найкращих параметрів кожного нейрона моделі. Це найвитратніший процес у плані обчислювальної потужності, що вимагає багаторазових ітерацій для спроб різних параметрів.

2. Тонка настройка: використання невеликої кількості, але високоякісних даних для навчання, підвищує якість виходу моделі.

3. Поглиблене навчання: створення "моделі винагороди", яка сортує результати виходу великої моделі, для автоматичної ітерації параметрів великої моделі. Іноді також потрібно, щоб людина брала участь у оцінці якості виходу моделі.

Три основні чинники, що впливають на продуктивність великих моделей, це кількість параметрів, обсяг і якість даних, обчислювальна потужність. Ці три елементи створюють цілу промислову ланцюг.

! Newcomer Science丨AI x Crypto: від нуля до піку

Постачальник апаратних GPU

Наразі Nvidia займає абсолютну провідну позицію в області проектування AI GPU-чіпів. Академічне середовище переважно використовує споживчі GPU(, такі як серія RTX), тоді як промисловість переважно використовує чіпи H100, A100 та інші для комерційного впровадження великих моделей.

У 2023 році новий чіп H100 від Nvidia одразу ж отримав великі замовлення від кількох компаній. Світовий попит на чіп H100 значно перевищує пропозицію, термін поставки вже досяг 52 тижнів. Щоб позбутися залежності від Nvidia, Google очолив створення альянсу CUDA разом з Intel, Qualcomm, Microsoft, Amazon та іншими компаніями для спільної розробки GPU.

Постачальник хмарних послуг

Постачальники хмарних послуг надають еластичні обчислювальні потужності та рішення для управління навчанням для AI-компаній з обмеженим фінансуванням після придбання достатньої кількості GPU для створення високопродуктивних обчислювальних кластерів. Наразі ринок в основному поділяється на три категорії постачальників хмарних обчислень:

1. Традиційні постачальники хмарних послуг, представлені надмасштабними хмарними обчислювальними платформами (, такими як AWS, Google Cloud, Azure )

2. Хмарна обчислювальна платформа вертикальної ніші, призначена переважно для ШІ або високопродуктивних обчислень.

3. Нові постачальники послуг інтерпретації, які в основному розгортають попередньо навчальні моделі для клієнтів і здійснюють їх налаштування або інтерпретацію

! Newcomer Science丨AI x Crypto: від нуля до піку

постачальник бази даних

Для завдань з даними AI та навчання глибокого навчання в галузі переважно використовують "векторні бази даних". Векторні бази даних можуть ефективно зберігати, управляти та індексувати величезні обсяги даних високої вимірності, зберігаючи неструктуровані дані у формі "векторів".

Основними гравцями є Chroma, Zilliz, Pinecone, Weaviate та інші. З ростом попиту на дані та появою великих моделей і застосувань у різних сегментах, попит на векторні бази даних суттєво зросте.

краєвий пристрій

При створенні кластерів високопродуктивних обчислень на базі GPU споживається велика кількість енергії та виділяється тепло. Для забезпечення безперервної роботи кластера потрібні системи охолодження та інші периферійні пристрої.

У забезпеченні енергією в основному використовують електричну енергію. Центри обробки даних та підтримуючі мережі наразі становлять 2%-3% світового споживання електроенергії. BCG прогнозує, що до 2030 року споживання електроенергії для навчання великих моделей зросте втричі.

У сфері охолодження наразі переважає повітряне охолодження, але системи рідинного охолодження отримують значні інвестиції. Рідинне охолодження в основному поділяється на три типи: охолодження за допомогою холодних пластин, занурювальне охолодження та розпилювальне охолодження.

AI застосування

В даний час розвиток застосувань ШІ подібний до індустрії блокчейн, інфраструктура дуже переповнена, але розробка застосунків відстає. Наразі найбільша кількість активних користувачів у застосунках ШІ припадає в основному на пошукові застосунки, типи яких досить однорідні.

Користувацька утримуваність у додатках штучного інтелекту зазвичай нижча, ніж у традиційних інтернет-додатках. Щодо частки активних користувачів, медіана DAU/MAU традиційного програмного забезпечення становить 51%, тоді як у додатків штучного інтелекту вона найвища лише 41%. Щодо утримуваності користувачів, медіана для перших десяти традиційних інтернет-додатків становить 63%, тоді як утримуваність ChatGPT лише 56%.

Криптоактиви та зв'язок з AI

Технологія блокчейн отримала вигоду від розвитку таких технологій, як нульове знання, і перетворилася на концепцію децентралізації та відмови від довіри. По суті, вся мережа блокчейн є мережею вартості, кожна транзакція є переказом вартості, заснованим на базовій монеті. Токеноміка визначає відносну вартість рідного токена мережі ( для розрахунків в екосистемі ).

Токеноміка може надати цінність будь-яким інноваціям та існуванню, незалежно від того, чи це ідеї, чи матеріальні створення. Цей спосіб перedefinування та відкриття цінності також є критично важливим для індустрії ШІ. Випуск токенів у ланцюгу поставок ШІ дозволяє всім етапам здійснювати перетворення цінності, заохочуючи більше людей глибше працювати в сегментах індустрії ШІ. Токени також можуть підтримувати екосистему, сприяючи виникненню певних філософських ідей.

Некоректність та безпека технології блокчейн мають практичне значення і в індустрії штучного інтелекту, адже вони дозволяють реалізувати деякі застосування, що потребують довіри. Наприклад, забезпечити, щоб модель не знала конкретний зміст даних, коли використовує дані користувачів, не викривала дані та повертала правильні результати розумування. Коли постачання GPU недостатнє, можна розподілити їх через мережу блокчейн; коли GPU оновлені, бездіяльні GPU можуть внести обчислювальну потужність до мережі, відновлюючи свою цінність.

! Newcomer Science丨AI x Crypto: від нуля до піку

Огляд AI-проектів у галузі криптоактивів

GPU забезпечення

У ланцюзі AI в індустрії криптоактивів постачання обчислювальної потужності є найважливішим елементом. Наразі проекти з хорошими фундаментальними показниками - це Render, який в основному використовується для відеорендеринга, що не є великими моделями.

Прогнози в галузі свідчать, що у 2024 році попит на обчислювальну потужність GPU становитиме близько 75 мільярдів доларів США, а до 2032 року досягне 773 мільярдів доларів США, з середньорічним темпом зростання приблизно 33,86%. Зі сплеском ринку GPU та впливом закону Мура, у майбутньому буде сформовано велику кількість непотужних GPU, які можуть продовжувати приносити користь у спільних мережах.

! Newcomer Science丨AI x Crypto: від нуля до піку

апаратна пропускна здатність

Ширина каналу часто є основним фактором, що впливає на час навчання великих моделей, особливо в галузі хмарних обчислень на блокчейні. Але спільна ширина каналу може бути псевдопоняттям, оскільки для високопродуктивних обчислювальних кластерів дані в основному зберігаються на локальних вузлах, тоді як у спільній ширині каналу дані зберігаються на певній відстані, затримки, що викликані географічними відмінностями, будуть набагато вищими, ніж у локальному зберіганні.

! Newcomer Science丨AI x Crypto: від нуля до піку

дані

Наразі запущені проекти з надання даних в індустрії криптоактивів, такі як EpiK Protocol, Synesis One, Masa тощо. У порівнянні з традиційними компаніями з надання даних, постачальники даних Web3 мають перевагу у зборі даних, оскільки особи можуть вносити неособисті дані ( навіть через технологію нульових знань вносити особисті дані ). Це розширює охоплення проекту, яке не лише націлене на компанії, але й дозволяє оцінювати дані будь-якого користувача.

! Newcomer Science丨AI x Crypto: від нуля до піку

ZKML( нульове знання машинного навчання )

Щоб реалізувати приватні обчислення даних та навчання, в галузі в основному використовують рішення на основі нульових знань, використовуючи гомоморфне шифрування для інференції поза ланцюгом, а потім завантажують результати разом з нульовими доказами в ланцюг. Це забезпечує конфіденційність даних та реалізує ефективну та низьку вартість інференції.

Окрім зосередження на проектах з навчання та виведення поза ланцюгом у сфері ШІ, існують деякі універсальні проекти зі знаннями нуля, такі як Axiom, Risc Zero, Ritual тощо, які можуть надавати нульові докази для будь-якого поза ланцюгового обчислення та даних, розширюючи межі застосування.

! Newcomer Science丨AI x Crypto: від нуля до піку

AI застосування

Стан застосування AI в індустрії криптоактивів подібний до традиційної індустрії AI, більшість перебуває на стадії будівництва інфраструктури, а розвиток downstream-додатків відносно слабкий. Ці AI+шифрування застосування більше є традиційними застосуваннями шифрування, доповненими автоматизацією та узагальненими можливостями, такими як AI Agent, який може виконувати оптимальні DeFi угоди або кредитні маршрути відповідно до потреб користувача.

Fetch.AI є представницьким проектом AI агентів. Він визначає AI агента як "програму, яка самостійно працює в мережі блокчейн, що може підключатися, шукати