Бува поглядаю канал МакКоуді, який веде веселий парубок із заходу України. Там всяші штуки витіває. І в якомусь відео трапилась фраза: "Я оредую відеокарту по 50 центів за годину"(приблизно до оригіналу). Ото мене зацікавило. Звичайно онлайн геймінг давно відома тема. Проте, пошуки привели до дуже цікавих відкриттів. І виявляється можна ореднувати потужності, тобто відеокарту для розрахунків ШІ. Потіжність залежить від ціни. Тобто від декількох центів, якась там RTX 3090 і вище з RTX A5000-A6000, H100 і так далі. І трохи покумекавши й порахувавши, виявилось, що це вельми вигідно, якщо потрібно годинку другу щось зробити собі. А в токенах це в десятки разів більше ніж брати готові підписки на сервісах. Які не завжди надають все одним пакетом: генерацію звуку, транскрибація, мелодії, зображення, програмування і так далі, поклацать шось для себе. Тобто на тіж 20 доларів, конверсія значно більша. При тому, що можна почати від 5 доларів, щоб спробувати, покрутить і багато іншого. Так оплата береться не за годину відразу, а похвилинно чи якось так.

---

Але є але й підступні моменти((

В пакет послух входить GPU, ОЗУ, СPU, ПЗУ та інтернет. Перші три компонетна входять до комплекту, а дисковий простір тарифікується окремо - інтернет також. Тож від цього залежить підсумкова плата за годину. І віздразу варто зауважити, що це і є два підступні моменти, які відразу потрібно брати до уваги. Хоча про це повідляють, чере деякі особливості, можна помилково подумати, що вимкнення орендованої потужності скасосує стягнення погодинне. Тільки це зупиняє лише використання відеокарти, процесора та оперативної пам'яті, а от дисковий простір продовжуватиме потихеньку брати плату.

Це добре із точки зору збереження даних, та запуску того ж проєкут на потужнішому залізі, але разом із тим, якщо забути то буде брати за кожну годину. Це орієнтовно від 0.006 цента за годину на кожні 16 гігабай (не весь ринок, лише з того досвіду що був).

А от інтернет теж важлива штука. Там ціна за терабайт коливається від декількох центів до десятків доларів. І може бути так що буде вельми сутеєво помітно, особливо коли 40 доларів за терабай і багато даних підвантажуєтся (моделі і всяка всячина). І при цьому ціна різна не завжди донакова за прийом та передачу інфомрації. Тобто при тій же ціні десь 8 центів за годину, щоб порпобувати й поклацати, інтернет може бути 40 зелених за годину. Що загалом буде зайвою переплатою при наявності кращих пропозицій.

Але це ще не все

За таку ціну, це не завжди гарантує все, що заявлено, бо бува досуп може бути одночасний, тбто на вимогу й це як пощастить.

Підводні камені

Попри цінову доступність й перспективу, є один суттєвий недолік. Хоча це потрібно перевіряти всі доступні сервіси на ринку. Це вхідний поріг простоти та знань.

Адже готові пакети нам пропонують за 10-20 доларів зручний інтерфейсь без зайвих рухів, плати і отримуєш: зображення, звуки і так далі. Чого достатньо для базових завдань. Хоча звуку нагенерувати, типу озвучити собі якусь книгу специфічну чи ще шось, то там таки багацько за це запросять, але з іншим цілком все дається з легкістю.

Цього не можна сказати про орендовану потужність. Моделі там переважно із опенсоурсні, треба робиратись що до чого й організувати налаштування, підключення ssh (а це треба ключ робити й додавати), встановлення сертифікату для браузера (якщо треба) і багато інших організаційних питань. Є там і готові пресети, прост тицьнути кнопку й після підготовок згаданих вище відкриється доступ до візуального управління, як сторічночки. Але все одно в обох випадках, потрібно правильно обрати модель чи може підвантажити. А це переважно треба в терміналі вводиит команди. Можна щоб ШІ написав спеціальний скрип, щоб скопіювати і вставити для автоматичного аналштування того що потрібно, або це робити вручну, але це треба робити. Це деякий час на початку. Ну й далі як пощастить.

Загалом із 5 доларів мені вистачило 4 із хвостиком, щоб поклацаить, подивиться на ті нові ворота десь протягом тижня. І можна сказати, що якщо є розуміння, то перспективи вельми хороші, тільки часу воно вимагає на організацію процесу та ознайомлення.

Переваги і можливості

Позитивна сторона

Можливості
Текст в голос
Транскрибація
3D моделювання (оті складні розрахунки рендеренгу і тп для моделей друку)
Переклад великих текстів із врахуванням контексту
Великий запас контексту (зележно від налаштувань).
Швидко потестити й поклацати якісь моделі чи агентів, як-то отой опенсоурсний агент Клавдій (рачок чи краб) він доступний для завантаження через оламу . І це без засмічення власного пк, що значно безпечніше.
Віддалене програмування
Масова генерація зображень, якщо прямо багато потрібно різних, то потужна відеокарта + модель відкрита й вперед (це треба спробувати).
Іще багато чого аби ума вистачало

Недоліки
Потрібно розбиратись і дещо налаштовувати вручну. Якщо зникне свіло раптом то інстанс не зупиниться сам, це додатково треба скрипт на сервер ставити щоб сам запустився на всяк випадок, бо буде жувать оплату

Приклад

Наприклад є відкрита модель Qwen яку ніби хвалять за здібності в програмування. Тільки є нюанс, це контекст і швидкодія. Тобто навіть Brave браузер надає доступ до велики і потужни як-то Qwen із 30B мільярдами параметрів у вільному використання, тобто без плати за ресурси використання, але там не дуже великий контекст, тобто в одне вікно відповіді влізе не багато. А коли потужна відеокарта із великим обсягом то там може поміститись багато й пам'яатати буде багато. На тестові із rtx 3090 12gb, воно опрацювало понад 10000 тисяч рядочків коду й заглохло, бо стало скарижитись, що 128 тис контексту токенів вичерпано. А там була модель, здається Qwen 2.5 14b. Потужна карта і великий обсях відеопам'яті для такого діла додає розуму для використання ШІ в програмуванні.

Як відбувається надання послуг та ціни

В даному випадку це погодинна аренда, інколи як є і по доступності, бува одну й ту ж карту можуть використовувати сумісно, як пощастить, але загалом наче нормально для такої ціни.

Глянувиши що є в Україні, так одним оком і якийсь один другий резульат із пошуку, то ціни десь 90-180 євро за місяць, відповідно це серверні рішення цілком ваші і бла бла бла, але для одного разу чи декількох воно, хіба даром потрібно.

Інша ситуація на ринку погодинної аренди. Там різна ситуація, пропзиції й надання послуг. Бо є таке, що це просто приватна здача потужностей, дисковий простір просто загортається в контейнер Doker, через що це вимагає деяких особливостей налаштування для моделей, якщо ті налаштуовуються через термінат і ще якось. Загортається і до нього підключається SSH протокол шифрування й по тому безпечному каналу відбуваєтья взаємодія із орендованими потужностями.

Ціни за таку радість

Наприклад RTX 3090 12GB VRAM обходилась із 16 GB дисковоо простору десь в діапазоні $0.07-0.09 за годину + інтернет, якщо не багато гігабай використовується то не дуже помітно при дешевих тарифах.

Регіональні особливості

Є таке, що обладнання розкидано по всьому світу, якщо це не конкретні дата центри, то це може бути й Китай (та інші країїни азійського регіону). Тільки Китай ще й обмежує доступ до світу, тож швидкість інтернету там буде низькувати при відносних цінах, коли там доволі дешева аренда. Бо моделі лежать на зовнішніх серверах, хоча там можна наче щось налаштувати, але краще брати поближче до себе або там де файні умови по швидкостям інтернету й країна не блокує Велики Фаєрволом доступ чи обмежує швидкість передачі даних.

Сервіси які надать такі послуги

Не так їх і багато із тих які мені трапились. А ще менше, тих які пропонують мінімальний взід від $5 поповнення, ну щоб перевірить що воно таке і ци воно взагалі підійде. За ці гроші, реально вистачить на довго саме для навчання й чистоп покалцать, щоб повправлятись саме із налаштуваннями моделей й іншим, або декілька годин потуджніхи відекарт.

На Сандеркомпьют показало найнижчі ціни, проте шось у браузері мені не дозволило завантажити сторінку оплати, видно агресивний захист від чогось. Ну й меню вибору там наче не має бажаного асортименту, який можна переглянути без входу в систему, лише щось загальне.

_{https://www.thundercompute.com/pricing}

Як видно, там ще є одна цікава пропозиція, це vast.ai, попри тригерний логотип, там наче всі американці. Асортимент вибору великий і його можна переглядати ще до входу в обліковий запис чи авторизацію через гугл чи ще шось. І теж ліміт поповнення вельми низький, іще навіть можна через crytpro.com зарядить на баланс, але була використана віртуальна картка українського банку, тож долари воно приймає без питань)). Тілкьи чомусь темна тема вмикаєсть лише пілся входу(.

Для просто поклацань, роздивиться і набуть перших знань із доствідом, бо лише там був досвід, це наче хороший варіант, але для зручності й довгострокової вигоди потрібно краще аналізувати ринок. Наприклад , СандерКомптют за RTX A6000 просить всього $0.35 за годину із ключеними 100GB дискового місця. Тільки не відомо що так із оплатою за інтернет.

_{https://www.thundercompute.com/pricing}

І це виходить вигідна ціна, в порівнянні із Васт (чи Вест), де 16 GB SSD за окрему ціну 0.007 центів і платний інтернет залежно від пропозиції, що для 100gb вже буде понад заявлених $0.432 за годину.

_vast.ai

---

Тож вже не так буде вигідно із часом, бо то лише на початку видажться ніби цифри маленькі.

_vast.ai

Проте слабші пропозиції є й дешевше від RTX 3060 десь в Китаї до багато різних, хоча на знімку екрана є RTX 5080, що вже краще може бути для генерації зображень і доступно для початку. Разом із тим ще потрібно слідкувати за ціною інтернету й доступністю вигідних пропозицій. Хоча для коротких завадань, це наче має бути нормально.

Тут іще десь малоб бути реферальне посилання, але якщо вам вже трапився цей допис, то вже якось дасте раду й без нього))

Маленький досвід що вигідніше

На спроби щось прикрутити для кодування, пішло декілька годин. Це пошук інфомрації, налаштування ПО, щоб дізнатись, що є середовища розробки, які дозволяють підключення до сервера із орендованими потужностями, або прямо розгортання того ПЗ на сервері, а керування через віконце того ж ПЗ на ПК. І дізнатись, що деякі доповення агенртів не завджи є для Linux і вони лише на офіційних Windows релізах працюють і так далі. А поті промсто пробувати через консольного агента типу Aider щось там йому в чаті дати завдання, які буде обробляти мозок завантаженої моделі.

Загалом те все працює, якщо правльно організувати й розуміти логіку і багато іншого. Аде оті всі налаштування й скакання звичайно корисні для великих проєктів і таки людей підкованих у даній сфері. Бо значно зручніше для речей простих, таж гугл студія, де все вже надано безоплантно й налаштовано (хоча не для всього), звичайно із поправкою, що дані всі доступні для навчання чи генерації подібного контенту (це безоплатна версія із щоденними лімітами). Але там по декілька моделей, то цього цілком вистачає щоб побавитись, чи зробити собі файний судоку із купою завдань де декілька днів, або й за один.

Проте якщо розібратись, то в майбутньому, це таки повинно дати значно більше переваг.

_{Це так, щоб не хотілось більше і було місце для приходу чогось нового))}