모티프테크놀로지스가 프롬 스크래로 개발한 파운데이션 소형언어모델(sLLM) 'Motif 2.6B'를 오픈소스로 허깅페이스에 공개한다.

이번에 공개한 sLLM은 모회사인 AI 인프라 전문기업 '모레'가 설립 초기부터 추구해온 AMD 그래픽처리장치(GPU) 자원의 효율적 사용과 클러스터링 소프트웨어(SW) 최적화 기술을 기반으로 개발됐다.

AMD가 개발한 '인스텔라'를 제외하고 AMD 인스팅트 MI250 GPU 기반으로 구현한 최초의 AI 파운데이션 모델이며, GPU 1개로 추론이 가능하다.

'Motif 2.6B'는 작지만 강력한 성능의 모델로 한국판 '미스트랄'을 표방했다.

26억개의 매개변수(파라미터)를 가진 sLLM로 동급뿐 아니라 70억개 매개변수 모델의 성능을 능가한다. 회사 자체적으로 각 모델별 테크니컬 리포트를 바탕으로 벤치마크 점수를 내본 결과 70억개 매개변수를 가진 '미스트랄 7B' 대비 134%의 성능을 보였으며, 고난도 수학과 과학, 코딩 능력에서 상대적으로 높은 점수를 기록했다. 동급인 1B~3B 모델과의 비교에서도 구글 '젬마1(2B)' 대비 191%, '메타 '라마 3.2(1B)' 대비 139%, AMD '인스텔라(3B)' 대비 112%, 알리바바 '큐원 2.5(3B)' 104%로 우수한 성능을 보였다.

'Motif 2.6B'는 문맥 이해 능력을 강화했다. 잘못된 문맥을 참고해 부정확한 문장을 생성하는 오류를 줄이고, 필수적 핵심 문맥에 집중하도록 설계했다. 다양한 산업, 서비스 현장에서의 쓰임 등을 고려해 개발됐다.

임정환 모티프테크놀로지스 대표는 “가트너는 기업의 sLLM 사용량이 2027년까지 LLM의 3배가 넘을 것으로 예측했다. sLLM은 저전력으로 구동되고 슈퍼컴퓨터 없이 운영이 가능해 비용 효율성이 매우 높아 실제 산업 현장에서 다양한 적용이 가능하기 때문”이라며 “Motif 2.6B를 활용해 우리 일상에서 사용할 수 있는 온디바이스 AI, 에이전틱 AI 모델로 발전시켜 나갈 것”이라고 밝혔다.

모티프테크놀로지스는 한국어 특화 고성능 거대언어모델(LLM)을 주도적으로 개발한 모레 AI 사업부 핵심 인력이 주축이 돼 지난 2월 출범했다. 엔비디아 SW '쿠다'에 의존하지 않는 자체 인프라 SW '모아이'를 통해 효율적 AI 모델 개발 프로세스를 확립했다.

김명희 기자 [email protected]