마음AI가 NVIDIA A100 GPU 2장만으로 70B 파라미터 규모의 대규모언어모델(LLM) MAAL-Albatross를 구동할 수 있도록 '초경량화'에 성공하였다고 밝혀 화제를 모으고 있다.

이는 마음AI가 최근 저전력 칩에 STT, TTS, LLM을 동시에 탑재하는 것에 성공하며 온디바이스(On-device)AI 분야에서 가능성을 내비친 데 이어, 온프레미스(On-premise) AI 분야에서의 자사 경쟁력 또한 입증한 것으로 평가된다.

온프레미스LLM의 주요 과제는 대규모언어모델을 기업 내부 네트워크에 적용하기 위해 모델 크기를 줄이는 것이다. 마음AI는 양자화 기술을 통해 대규모언어모델 파라미터를 4비트로 압축하면서도 기존의 뛰어난 성능은 유지하는 성과를 냈다.

마음AI는 오늘날 사내 데이터 유출 없이 사용할 수 있는 LLM 챗봇과 업무 효율성을 극대화하는 다양한 툴을 패키지로 묶어 기업 대상으로 제공하고 있다.
특히 최근에는 Chatplay 툴을 출시하여, 회사에 특화된 맞춤형 챗봇을 고객이 직접 생성할 수 있도록 지원하고 있다. 사내 문서를 PDF, Word, txt 형식으로 업로드하면, 사내 자료를 기반으로 답변이 생성되며, 답변의 출처까지 확인할 수 있는 서비스이다. 이러한 마음AI의 LLM 솔루션은 사원들의 업무 생산성을 극대화할 뿐 아니라, 고객의 개인정보 등 민감한 데이터를 안전하게 다룰 수 있어 기업들 사이에서 높은 신뢰를 얻고 있다.

마음AI가 출시한 Chatplay 서비스를 통해 사내 데이터 기반 챗봇을 제작할 수 있다.

베타뉴스 신근호 기자 (danielbt@betanews.net)
Copyrights ⓒ BetaNews.net

• • 목록
  • 위로