[투자의 단상/241102] 소형 AI 모델의 놀라운 가능성

소형 AI 모델의 놀라운 가능성(코빗리서치)

오늘은 소형AI 모델의 가능성에 대한 코빗리서치를 한번 리뷰해 볼 까 합니다.

지금까지 모든 관심은 주로 AI 스택의 하위 단계에 집중되었으며, 여기에는 OpenAI와 Anthropic 같은 저명한 AI 연구소와 Nvidia 같은 하드웨어 제조업체들이 포함되어 있다.
● 이러한 AI 스택의 하위 단계에 대한 관심과 자본의 집중으로 인해 애플리케이션 레이어에 축적되고 있는 잠재력이 가려지고 있다.
● 앞으로 몇 달 동안 이 애플리케이션 레이어에서 실험이 계속 증가함에 따라, 애플리케이션에 AI 모델을 통합하는 개발자들은 (매우 구체적이거나 특수한 기능을 갖춘) 소형 모델을 사용하는 것이 더 관리하기 쉽고 유연한 AI 시스템을 구축하는 데 도움이 된다는 것을 알게 될 것이다.
● 소형 AI 모델의 사용은 분산형 트레이닝, 로컬 추론, 데이터 세트 수집 및 생성 등 AI x 크립토 스택 내의 여러 영역에서 긍정적인 신호를 보인다.

보다 일반적으로 순수 AI 모델을 툴, 오케스트레이션 소프트웨어(orchestration software), 비즈니스 로직, 그리고 추가적인 AI 모델들과 결합하면 해당 애플리케이션은 버클리 AI 연구 그룹이 명명한 것처럼 AI 시스템 또는 복합(compound) AI 시스템으로 간주할 수 있다. 그들이 언급했듯이, 이러한 시스템은 단일 AI 모델만으로는 얻을 수 없는 놀라운 결과를 달성할 수 있다.

일반적으로 AI 모델 자체는 최종 사용자가 원하는 제품이 아니며, 오히려 가치를 창출하는 것은 소프트웨어 시스템 전체(즉 AI 애플리케이션)이라는 설명입니다.

소형 AI 모델의 장점

모델 트레이닝 및 추론의 트레이드오프

모델 추론(inferencing)이란, 학습되고 애플리케이션에 통합된 모델에 효과적으로 질의하는(querying) 것을 의미한다. 모델의 응답 시간, 즉 지연 시간(latency)은 AI 애플리케이션이 실제 사용자 요청을 처리하는 프로덕션 단계에서 중요한 지표가 된다. 일반적으로 지연 시간을 최소화하면 전반적인 사용자 경험(UX)이 개선된다.

그래프를 보면 trade-off(컴퓨팅 리소스 vs 지연시간)로 모델사이즈가 작아지면 application performance가 더 높아지는 것을 확인할 수 있겠습니다.

더 작은 AI 모델은 실제 프로덕션 환경에 배포할 수 있을 만큼 충분히 강력해지고 있다. 복잡한 비즈니스 로직과 툴 사용, 함수 호출, 검색 증강 생성(RAG, retrieval-augmented generation) 시스템, 파인 튜닝(fine-tuning) 및 기타 소형 AI 모델과 같은 기술을 결합하면 이러한 AI 시스템은 대형 모델을 활용하는 것에 필적하거나 그 이상의 결과를 만들어낼 수 있다.

AI x 크립토에 미치는 영향

더 작은 AI 모델을 도입하면 탈중앙화된 트레이닝, 로컬 추론, 인센티브화된(incentivized) 데이터 수집 등 AI x 크립토 스택 내의 여러 분야에 긍정적인 영향

역시 가장 수혜를 볼 수 있는 분야는 탈중앙화를 지향하는 블록체인 기반 dapp들이 될 수 있을 것 같습니다.

최근 탈중앙화 및 분산형 트레이닝의 획기적인 발전으로 이 개념이 AI의 주류로 부상했다. Prime Intellect와 Nous Research는 서로 다른 기술을 사용하여 지리적으로 분산된 컴퓨팅 클러스터를 이용해 AI 모델을 훈련하는 것이 가능하다는 점을 입증

소형 모델을 활용하는 경우, 이러한 새로운 분산형 트레이닝 방법을 시스템에 통합하면 Gensyn 및 Prime Intellect와 같은 탈중앙화 트레이닝 프로토콜을 활용할 수 있음

로컬 추론

호스팅 서비스가 사용자에게 제공하는 편의성은 아무리 강조해도 지나치지 않다. 하지만 다음과 같은 단점도 있다:
● 블랙박스 모델 - 오늘 사용하는 모델이 내일은 다를 수 있다. 사용자 입장에서 모델은 서비스 제공업체가 사용자 모르게 변경할 수 있는 블랙박스와 같다. 이로 인해 예상치 못한 동작이 발생하거나, 더 높은 품질의 모델에 대해 비용을 지불했음에도 불구하고 더 낮은 품질의 모델로 대체되는 상황이 발생할 수 있다.
● 개인정보 보호 - 서비스를 운영하는 주체는 모델을 통해 전달되는 모든 데이터를 볼 수 있다. 이로 인해 사용자가 자신의 쿼리를 비공개로 유지할 수 있는 권한이 사라진다.

크립토 관점에서 보면, 로컬 모델을 온체인 스마트 콘트랙트 작업을 실행(trigger)하도록 구성할 수 있다. 간단한 AI 애플리케이션(예: 챗GPT와 같은 챗봇)의 경우, 로컬에서 실행하면 위에서 설명한 블랙박스 및 개인정보 보호 문제를 모두 해결할 수 있음

트레이닝 데이터 인센티브화와 혁신

데이터는 AI 모델의 성격이나 일반적인 행동을 형성하는 데 핵심적인 요소이다.
보다 광범위하게는 Bittensor와 같은 크립토 시스템을 활용하여 특정 데이터 세트를 수집하고 생성하도록 인센티브화(incentivize)하는 것이 새로운 패턴으로 떠오르고 있다

일반적으로 소형 모델은 더 큰 모델보다 비용 효율적일 뿐만 아니라 모듈식 소프트웨어로 작동할 수 있어 전체 제품을 더욱 유연하게 만들 수 있다. 탈중앙화된 트레이닝 및 컴퓨팅 프로토콜, 로컬 추론 프로젝트 개발자, 데이터 세트 수집 프로토콜 모두 이러한 소형 모델의 사용 증가에 따라 이점을 누릴 수 있다.

현재의 대형화된 LLM 모델에 비해 탈중앙화된 트레이닝/컴퓨팅 프로토콜, 로컬 추론모델, 인센티브화된 프로토콜을 사용하는 블록체인 기반의 분산화된 소형 AI 모델은 상당한 비용적 이점과 유연한 application 설계, UX 측면 등의 강점을 가지게 될 것으로 보입니다.

이러한 소형AI 모델의 상대적 강점 또한 발전하는 AI 생태계의 새로운 트렌드로 자리잡을 가능성이 높으므로 꾸준히 주목해야 할 것이로 보입니다.

오늘 하루도 편안한 휴식과 함께 하는 하루들 되시기 바랍니다.~