Децентралізація зберігання: скільки ще до популяризації?

Зберігання колись було однією з популярних нішей у блокчейн-індустрії. Filecoin, як провідний проект минулого бичачого ринку, мав ринкову капіталізацію, яка перевищувала 10 мільярдів доларів. Arweave спеціалізується на постійному зберіганні, досягаючи максимальної ринкової капіталізації у 3,5 мільярда доларів. Але з появою сумнівів щодо доступності зберігання холодних даних, перспективи розвитку децентралізованого зберігання також стали під питанням. Нещодавня поява Walrus привнесла нову увагу до тихої ніші зберігання, в той час як проект Shelby, запущений Aptos та Jump Crypto, намагається досягти прориву в сфері зберігання гарячих даних. У цій статті буде проаналізовано зміни наративу децентралізованого зберігання, виходячи з розвитку чотирьох проектів: Filecoin, Arweave, Walrus і Shelby, та обговорено їхні майбутні напрямки розвитку.

Filecoin: суть монет, прихована під оболонкою зберігання

Filecoin є одним із перших криптовалютних проєктів, який швидко зростав, його розвиток зосереджений на Децентралізації. Filecoin намагається поєднати зберігання даних з Децентралізацією, вирішуючи проблему довіри до централізованих постачальників послуг зберігання даних. Однак певні компроміси, зроблені для досягнення Децентралізації, стали проблемами, які пізніше намагалися вирішити інші проєкти. Щоб зрозуміти, що Filecoin по суті є проєктом монет для майнінгу, необхідно ознайомитися з обмеженнями його базової технології IPFS у обробці гарячих даних.

IPFS:Децентралізація архітектури транспортних вузлів

IPFS(Міжзоряна файлова система) з'явилася приблизно у 2015 році з метою революціонізувати традиційний протокол HTTP через адресацію за вмістом. Але найбільшою проблемою IPFS є дуже повільна швидкість отримання. У часи, коли традиційні дані можуть реагувати за мілісекунди, отримання файлу через IPFS все ще займає десятки секунд, що ускладнює його просування в реальному застосуванні. За винятком кількох блокчейн-проєктів, IPFS рідко використовується в традиційних галузях.

Основний P2P протокол IPFS переважно підходить для "холодних даних", тобто для статичного контенту, який рідко змінюється. При обробці гарячих даних, таких як динамічні веб-сторінки, онлайн-ігри або AI-додатки, P2P протокол не має суттєвих переваг у порівнянні з традиційними CDN.

Хоча IPFS сам по собі не є блокчейном, його спрямована ациклічна графіка (DAG) розроблена так, що вона сильно узгоджується з багатьма публічними блокчейнами та протоколами Web3, що робить її природно придатною для використання як базової структури блокчейну. Тому навіть за відсутності практичної цінності, IPFS як базова структура для наративу блокчейну вже є достатнім. Ранні альтернативні проекти потребували лише працюючої структури, щоб розпочати грандіозні плани, але з розвитком Filecoin проблеми, які виникають з IPFS, також почали заважати його просуванню.

Логіка монет, що зберігаються під зовнішньою оболонкою

Дизайн IPFS був задуманий так, щоб користувачі, зберігаючи дані, також ставали частиною мережі зберігання. Але за відсутності економічних стимулів користувачам важко добровільно використовувати цю систему, не кажучи вже про те, щоб стати активними вузлами зберігання. Це означає, що більшість користувачів просто зберігатимуть файли в IPFS, але не внесуть свій простір для зберігання або не зберігатимуть файли інших. Саме в такому контексті виник Filecoin.

Економічна модель токенів Filecoin включає три основні ролі: користувачі сплачують збори за зберігання даних; зберігачі отримують винагороди токенами за зберігання даних користувачів; майнери даних надають дані, коли користувачі їх потребують, і отримують винагороди.

Ця модель має потенційний простір для зловживань. Зберігачі даних можуть заповнювати сміттєвими даними після надання простору для зберігання, щоб отримати винагороду. Оскільки ці сміттєві дані не підлягають запиту, їх втрата не викликає механізмів покарання для зберігачів. Це дозволяє зберігачам видаляти сміттєві дані та повторювати цей процес. Консенсус на основі доказу копіювання Filecoin може лише гарантувати, що дані користувача не були видалені без дозволу, але не може запобігти заповненню сміттєвими даними.

Функціонування Filecoin значною мірою залежить від постійних вкладень майнерів у токеноміку, а не від справжньої потреби кінцевих користувачів у дистрибутивному зберіганні. Хоча проект продовжує ітерації, на даному етапі екосистема Filecoin більше відповідає "логіці майнінгу" замість "додатків" у позиціонуванні зберігання.

Arweave: народжений довгостроковістю, загиблий від довгостроковості

Якщо говорити, що мета Filecoin полягає в створенні заохочувальної, доведеної децентралізованої "хмари даних", то Arweave пішла в іншому напрямку в питанні зберігання: надаючи даним можливість постійного зберігання. Arweave не намагається створити розподілену обчислювальну платформу, її вся система розгортається навколо одного основного припущення - важливі дані повинні зберігатися одноразово і назавжди залишатися в мережі. Така крайня довгостроковість робить Arweave, від механізму до моделі стимулювання, від апаратних вимог до наративного підходу, абсолютно відмінним від Filecoin.

Arweave використовує біткоїн як об'єкт навчання, намагаючись постійно оптимізувати свою мережу постійного зберігання протягом тривалих періодів часу. Arweave не переймається маркетингом, не турбується про конкурентів і тенденції розвитку ринку. Вона просто продовжує ітерувати архітектуру мережі, навіть якщо ніхто не цікавиться, адже це суть команди розробників Arweave: довгостроковість. Завдяки довгостроковості, Arweave користувалася великою популярністю під час останнього бичачого ринку; і через цю ж довгостроковість, навіть впавши на дно, Arweave все ще може пережити кілька циклів бичачого і ведмежого ринку. Лише питання в тому, чи буде у Arweave місце в майбутньому децентралізованому зберіганні? Існування цінності постійного зберігання можна довести лише з часом.

Головна мережа Arweave з версії 1.5 до останньої версії 2.9, незважаючи на те, що втратила ринкову увагу, постійно прагнула залучити більш широкий спектр майнерів до участі в мережі з мінімальними витратами та стимулювати майнерів максимально зберігати дані, що сприяє постійному підвищенню стійкості всієї мережі. Arweave чітко усвідомлює, що не відповідає ринковим уподобанням, обрала консервативний шлях, не підтримує майнингові громади, екосистема повністю застигла, оновлення головної мережі відбувається з мінімальними витратами, продовжуючи знижувати апаратні вимоги без шкоди для безпеки мережі.

Огляд шляху оновлення 1.5-2.9

Версія Arweave 1.5 виявила уразливість, що дозволяє шахтарям покладатися на стекування GPU замість реального зберігання для оптимізації ймовірності створення блоку. Щоб стримати цю тенденцію, версія 1.7 впроваджує алгоритм RandomX, обмежуючи використання спеціалізованих потужностей, натомість вимагаючи залучення загальних процесорів до видобутку, що послаблює централізацію потужностей.

У версії 2.0 Arweave використовує SPoA, перетворюючи доказ даних на простий шлях структури Меркла, та вводить транзакції формату 2 для зменшення навантаження на синхронізацію. Ця архітектура зменшує тиск на мережеву пропускну здатність, значно підвищуючи здатність до співпраці вузлів. Однак деякі майнери все ще можуть уникати реальної відповідальності за зберігання даних через стратегію централізованих швидкісних сховищ.

Щоб виправити цю упередженість, у 2.4 було запроваджено механізм SPoRA, що вводить глобальний індекс і повільний хеш-рандомний доступ, що вимагає від майнерів реального володіння блоками даних для участі в ефективному видобутку, що механічно послаблює ефект накопичення потужності. В результаті майнери почали звертати увагу на швидкість доступу до зберігання, що спонукало до застосування SSD та високошвидкісних пристроїв запису/читання. У 2.6 було введено хеш-ланцюг для контролю темпу видобутку, що збалансувало граничну вигоду високопродуктивних пристроїв, забезпечуючи справедливий простір для участі середніх і малих майнерів.

Подальші версії ще більше зміцнюють мережеву співпрацю та різноманітність зберігання: 2.7 додає кооперативний майнінг та механізм пулів, підвищуючи конкурентоспроможність малих майнерів; 2.8 впроваджує механізм комбінованої упаковки, що дозволяє великим об'ємним повільним пристроям гнучко брати участь; 2.9 вводить новий процес упаковки у форматі replica_2_9, значно підвищуючи ефективність та знижуючи залежність від обчислень, завершуючи замкнуте коло моделі майнінгу, орієнтованої на дані.

В цілому, шлях оновлення Arweave чітко демонструє його довгострокову стратегію, орієнтовану на зберігання: під час постійного опору тенденціям концентрації обчислювальної потужності, він продовжує знижувати бар'єри для участі, забезпечуючи можливість тривалої роботи протоколу.

Walrus: обійми гарячі дані — це лише розкрутка чи має інше значення?

Дизайн Walrus кардинально відрізняється від Filecoin та Arweave. Вихідною точкою Filecoin є створення децентралізованої перевірної системи зберігання, ціною якої є зберігання холодних даних; вихідною точкою Arweave є створення онлайнової бібліотеки Олександра, яка може зберігати дані назавжди, ціною якої є надто мала кількість сценаріїв використання; вихідною точкою Walrus є оптимізація витрат на зберігання в протоколі зберігання гарячих даних.

Магічно змінений код виправлення помилок: інновація вартості чи нова пляшка для старого вина?

У дизайні витрат на зберігання Walrus вважає, що витрати на зберігання Filecoin і Arweave є нерозумними. Останні два використовують повну архітектуру копіювання, основною перевагою якої є те, що кожен вузол має повну копію, що забезпечує високу відмовостійкість і незалежність між вузлами. Така архітектура може гарантувати, що навіть якщо частина вузлів вийде з ладу, мережа все ще матиме доступність даних. Однак це також означає, що системі потрібна множинна резервна копія для підтримки надійності, що, у свою чергу, підвищує витрати на зберігання. Особливо в дизайні Arweave, сам механізм консенсусу заохочує вузли до резервного зберігання, щоб підвищити безпеку даних. У порівнянні з цим, Filecoin має більшу гнучкість у контролі витрат, але ціною цього є те, що деякі низькозатратні варіанти зберігання можуть мати більший ризик втрати даних. Walrus намагається знайти баланс між цими двома, його механізм контролює витрати на копіювання, одночасно підвищуючи доступність за допомогою структурованої резервної копії, створюючи новий компроміс між доступністю даних і ефективністю витрат.

Redstuff, створений Walrus, є ключовою технологією для зменшення надмірності вузлів, що походить з кодування Reed-Solomon(RS). Кодування RS є дуже традиційним алгоритмом кодування з виправленням помилок, яке дозволяє подвоїти набір даних шляхом додавання надмірних фрагментів, які можна використовувати для відновлення оригінальних даних. Від CD-ROM до супутникового зв'язку і QR-кодів, воно часто використовується в повсякденному житті.

Код виправлення дозволяє користувачеві отримати блок, наприклад, розміром 1 МБ, а потім "збільшити" його до 2 МБ, де додаткові 1 МБ є спеціальними даними, що називаються кодом виправлення. Якщо будь-який байт у блоці втрачається, користувач може легко відновити ці байти за допомогою коду. Навіть якщо втрачається блок розміром до 1 МБ, весь блок можна відновити. Така ж технологія дозволяє комп'ютерам зчитувати всі дані з CD-ROM, навіть якщо він пошкоджений.

Наразі найчастіше використовують коди РС. Спосіб реалізації полягає в тому, щоб почати з k інформаційних блоків, побудувати відповідний поліном і оцінити його в різних координатах x, щоб отримати кодувальні блоки. Використовуючи коди виправлення РС, ймовірність випадкового зразку втрати великих обсягів даних є дуже малою.

Наприклад: розділіть файл на 6 блоків даних і 4 блоки перевірки, всього 10 частин. Достатньо зберегти будь-які 6 частин, щоб повністю відновити початкові дані.

Переваги: висока стійкість до помилок, широко використовується в CD/DVD, системах RAID(, а також у системах хмарного зберігання), таких як Azure Storage, Facebook F4(.

Недоліки: складність обчислення декодування, високі витрати; не підходить для сценаріїв з частими змінами даних. Тому зазвичай використовується для відновлення та керування даними в централізованому середовищі поза ланцюгом.

У децентралізованій архітектурі Storj і Sia адаптували традиційне RS-кодування для задоволення реальних потреб розподіленої мережі. Walrus також на цій основі запропонував свій варіант - алгоритм кодування RedStuff, щоб забезпечити нижчі витрати та більш гнучкий механізм резервного зберігання.

Яка найбільша особливість Redstuff? Завдяки вдосконаленню алгоритму кодування з корекцією помилок, Walrus може швидко та надійно кодувати неструктуровані дані в менші фрагменти, які зберігаються в мережі зберігання вузлів. Навіть якщо втрачається до двох третин фрагментів, можна швидко відновити вихідний блок даних, використовуючи частину фрагментів. Це стало можливим за умови, що фактор реплікації становить лише 4-5 разів.

Отже, визначити Walrus як легкий протокол надмірності та відновлення, перепроектований навколо децентралізованого сценарію, є обґрунтованим. На відміну від традиційних кодів виправлення ), таких як Reed-Solomon(, RedStuff більше не прагне до суворої математичної узгодженості, а натомість здійснює прагматичний компроміс щодо розподілу даних, валідації зберігання та витрат на обчислення. Ця модель відмовляється від механізму миттєвого декодування, необхідного для централізованого планування, і замість цього перейшла на перевірку наявності конкретних копій даних через верифікацію Proof на блокчейні, щоб адаптуватися до більш динамічної та маргіналізованої мережевої структури.

Основою дизайну RedStuff є розділення даних на два види: основні фрагменти та другорядні фрагменти. Основні фрагменти використовуються для відновлення оригінальних даних, їх генерація та розподіл підлягають суворим обмеженням, поріг відновлення становить f+1, і необхідно 2f+1 підписів як підтвердження доступності; другорядні фрагменти генеруються простими операціями, такими як XOR-комбінація, їхня роль полягає в забезпеченні еластичної відмовостійкості та підвищенні загальної надійності системи.