애플 온디바이스 방식으로 실행되는 오픈소스 AI 모델 출시

Apple은 오늘 클라우드 서버가 아닌 온디바이스에서 실행되도록 설계된 여러 오픈 소스 대규모 언어 모델(LLM)을 출시했습니다. OpenELM(Open-source Efficient Language Models)이라고 하는 LLM은 AI 코드 공유 커뮤니티인 Hugging Face Hub에서 사용할 수 있습니다.

 

 

백서[PDF]에 요약된 대로 총 8개의 OpenELM 모델이 있으며, 그 중 4개는 CoreNet 라이브러리를 사용하여 사전 학습되었으며 4개는 명령 조정 모델입니다. Apple은 정확성과 효율성을 개선하기 위한 계층별 확장 전략을 사용합니다.

 

Apple은 최종 학습 모델이 아닌 코드, 학습 로그 및 여러 버전을 제공했으며, 프로젝트 배후의 연구원들은 자연어 AI 분야에서 더 빠른 발전과 "더 신뢰할 수 있는 결과"로 이어지기를 바란다고 말합니다. 

 

 

반응형

 

 

OpenELM, 최첨단 개방형 언어 모델. OpenELM은 계층별 확장 전략을 사용하여 트랜스포머 모델의 각 계층 내에서 매개변수를 효율적으로 할당하여 정확도를 높입니다. 예를 들어, 파라미터 예산이 약 10억 개의 파라미터인 OpenELM은 OLMo에 비해 정확도가 2.36% 향상되는 동시에 사전 학습 토큰이 2배 더 적게 필요합니다.

 

모델 가중치 및 추론 코드만 제공하고 프라이빗 데이터 세트에 대한 사전 학습을 제공하는 이전 사례와 달리, 릴리스에는 학습 로그, 여러 체크포인트 및 사전 학습 구성을 포함하여 공개적으로 사용 가능한 데이터 세트에서 언어 모델을 학습하고 평가하기 위한 전체 프레임워크가 포함되어 있습니다.

Apple은 최첨단 언어 모델로 "개방형 연구 커뮤니티를 강화하고 풍부하게"하기 위해 OpenELM 모델을 출시한다고 밝혔습니다. 오픈소스 모델을 공유하면 연구자가 위험과 데이터 및 모델 편향을 조사할 수 있으며 개발자와 회사는 모델을 있는 그대로 사용하거나 수정할 수 있습니다.

 

정보의 공개적인 공유는 Apple의 비밀 정책에 따라 일반적으로 출판될 수 없었던 연구 논문을 위한 기회를 제공하기 때문에 Apple이 최고의 엔지니어, 과학자 및 전문가를 모집하는 중요한 도구가 되었습니다.

 

Apple은 아직 이러한 종류의 AI 기능을 기기에 도입하지 않았지만 iOS 18에는 여러 가지 새로운 AI 기능이 포함될 것으로 예상되며 Apple이 개인 정보 보호를 위해 기기에서 대규모 언어 모델을 실행할 계획이라는 소문이 있습니다.