Старе залізо таки старе ))

in #technology18 days ago

Перехід на Windows 11 вимагає наявність новітнього чіпа TPM в системі ПК. І ще тоді на момент анонсу, була думка, що там в Майкрософт чудять і сприяють продажам нових комплектуючих. Адже старіші покоління процесорів цілкм собі спокійно можуть працювати. Так питання дещо впиралось в безпеку, яку надавав той чіп та новіші архітектури CPU і материнських плат. Що для базового користування ще цілком давало хороший досвід, де шось можна перекрити просто хорошим VPN і подібним, що стосується саме мережевої безпеки.

Звичайно нові покоління СPU розумніші й продуктивніші. Нариклад, пентіум четвертий на 775 сокеті, ледь тягне відео з ютубу в 480 якості, а там 3.4 Ггц (саме та модель така була). Його старший брат D945 із двома такими "пеньочками" під кришечкою, теж не дуже показував вражаючі результати, а це двічі по 3.4 Ггц. Натомість якийсь кволенький селерон в ноутбуці із двома ядрами 1.4 чи 1.6 Ггц, спокійно крутив фулашдф, як на 2012 чи якийсь рік випуску, бо ще мав вбудовану графіку HD 4000 (чи якусь подібну сімейства HD). І цілком був собі нічого для вебсервфінгу і легкого офісу та ще якихось дрібниць. Сучасні звичайно процесори можуть ще більше. Тож окрім ефективного енергоспоживання вони несуть покращені архітектури, які оце поступово все більше даються взнаки. Особливо якщо багато не треба було від ПК й він обходився вбудованою графікою (особливо від райзен).

І причинт тому, що значно старіші ексемпляри відпадатимуть поступово із вжитку, аж дві, або й більше.

Перша, це звичайно бум ШІ, бо для них в процесори додають спеціальні ядра, які мають під капотом товаришувати із ОС, шо там для ШІ моделей прикручують. Та може без того якось можна й обходитись.

А друга причина, це веб середовище інтернету. Якщо раніше сторіночки були простим html кодом, який майже із будь якого пк відкривався, то поступово технології набули вдосконалення й зараз сайти побудовані на новітній архітектурі добре жують туж вбудовану графіку, тобто навантаєують її обробкою тіней, прозоростей і так далі, всим що пов'язано із графікою, а воно все значно поважчало. То тільки це з часом може добре гасить систему, при багатьох активних елемента (особливо не оптимізованих). А якщо це якийсь застосунок із гарним інтерфейсом в браузері, то він буде добряче давати жару.

І саме зараз якось стала дуже помітна різниця між старшими поколінням й новішими. Бо для звичайноо користування ніби не дуже то й велика різниця була в ряду від 2 до 7 покоління Intel СPU. Бенчарки то покажуть різницю, та для базового користування воно не дуже то булло суттєво окрім енергоспоживання. І це при тому, що ціни певний час тримались ніби однакові. Осбливо смішно, що Core 2 Q9550 продають за 1300 із гаком, тоді як I5-4590 вартує 600 гривень на вторинному ринку і майже в два з хвостиком рази продуктиніше та має вбудовану графіку. Парадокс якийсь)). За трохи більше, десь 1800 вже AMD Ryzen 5 2400G буде ще продуктивніший, але ціна десь на 1\3 вища за той кор ту квад старенький, але й графіка вбудована)). Інші комплектуючи звичайно будуть іншої вартості ОЗУ кусюче і так далі.

Це до того, що ситуація ще потримається певний час, десь допоможуть дискретні відеокарти, проте ще трохи часу й почнуть відпадать старіші покоління із звичного обігу.

ШІ наступає - туп-туп-туп

І якщо із веб переглядом та простішими речами, ще запас чогось там є, то ШІ технології дійсно показують, що таке технологічна деградація. Тобто якщо вже хочеться чогось запустити локально, щоб хочаб якісь зв'язні речення й були нормальні слова у ШІ моделі в чаті, і вона як мінімум могла стрибать на потужностя процесора, це вже треба багатенько ОЗУ. Щоб хочаб моделі були від 7-9B параметрів, бо дрібні таке несуть бува й слова заручені й перекрученя, як для української мови, англійською то може краще. Але швидкість теж буде не дуже високою. Тому відеокарта буде допоміжною, але теж багато чого впирається в архітектуру, і щоб дійсно щось було розумне, то потрібна доволі потужна відеокарта або рішення спеціально заточені під ШІ. Типу коробочок на ARM із NVidia ядрами та уніфікованою ОЗУ. Бо має значення не тільки обсях відеопам'яті щоб просто туди помістилась модель, а й запас тієї пам'яті на контекст, тобто утримування в пам'яті вхідну та вихідну інфомрацію.

І якось мені думалось, що якщо запхати книгу для перекладу та інтелектуального редагування, на сто або й більше тисяч слів, то воно його мекне за один раз і буде щастя й результат. Але при якомусь віддаленому розборі процесу, як воно відбувається, хоча на практиці й не було спробувано, то це вимагає дуже багато ресурсу й декілька годин часу, навіть якщо модель може мати вікно контексту в 1 мільйон токенів, то залізяччя для цього має бути доволі продуктивне.

Наведу приклад із Гугл студії, де в звичайному діалозі де вже понад 300 тис. токенів контексту назбиралось, то модель уже подумує по декілька хвилин, що обробити результат враховуючи його й видатит структуровану й продуктивну відповідь, і бува не дуже велику за розміром, але все одно думає. Це звичайно фрі режим без підписки, під яку точно виділяють ресурс, але все одно там же потужне серверне обладнання.

А щоб щось працьювало локально більш менш нормально й енергоефективно, то мають бути нейроядра, окрім звичайних на процесорі. Тож хоч і добирається шось до мобільних гаджетів, але в першу чергу до флагманських моделей, тобто щоб воно локально могло гацапурить. Хочаб чатик мугикать, то теж треба добрячий запас ресурсіх. Хіба може які агенти із цільовим діапазоном дій та інтелектуальних функцій.

---


Чи так важливий то ШІ?

Про це вже говорили всі хто завгодно, в тому числі фахівці. Та така реальність, що все впираєтьс в час на виконання завдання, якщо раніше обробка інформації та інші дії в ручному режимі забирали купу часу, то зараз можуть давати результат за секунди, хвилини, години. Тому просто не вигідно на ринку такої великої конкуренції, повзти зі швидкістю черепашки, коли всі вже використовують потужність ШІ. Чисто математично навіть не вигідна втратат часу в пених видах діяльності. Наприклад, зараз просто можна в певних інструментах додати пакет даних чи ще й лінки надати і воно за лічені секунди чи досить короткий час зробить потрібний набір файлів: презентаці, манйндмеп, структуровану вибірку із купи інформації. Відео десь там теж робляться за якись коротенький час, просто додати текст, і воно навіть може підгенерувати відео із звуком (у відео всередині буде), сабсрибування в субтитри і так далі.


Старе залізо таки старе...