AIHere

앤트 그룹, 100만 토큰 컨텍스트의 Ling-3.1-flash 가중치 공개

앤트 그룹이 약 5,600억 개의 매개변수를 가진 Ling-3.1-flash 모델의 가중치를 공개해, 개발자들이 자체 하드웨어에서 직접 실행할 수 있게 됐다.

AIHere 뉴스데스크· 1 분 분량🇨🇳 중국

중국 기술 기업 앤트 그룹이 2026년 10월 16일부로 인공지능 모델 Ling-3.1-flash의 가중치를 일반에 공개했다. 이에 따라 개발자들은 호스팅 서비스에 의존하지 않고 직접 관리하는 인프라에 모델을 설치할 수 있게 됐다.

회사에 따르면 Ling-3.1-flash의 총 매개변수는 약 5,600억 개이지만, 처리하는 토큰마다 실제로 사용되는 매개변수는 약 250억 개에 그친다. 이 모델은 최대 100만 토큰의 컨텍스트 윈도우를 처리할 수 있어, 한 번에 매우 긴 입력을 다룰 수 있다.

코딩과 에이전트를 겨냥한 설계

앤트 그룹은 이 모델을 프로그래밍, 에이전트형 워크플로, 긴 문서와 외부 도구 호출이 필요한 전문 업무에 적합한 모델로 소개하고 있다. 이 모델은 앞서 먼저 소개됐으며, 이번 가중치 공개에는 SGLang과 vLLM을 비롯한 추론 프레임워크의 배포 지원이 함께 제공된다.

팀은 또한 혼합 정밀도 배포 방식을 소개했다. 앤트 그룹은 이 방식으로 모델 가중치에 필요한 메모리가 약 534GB에서 292GB로 줄어든다고 밝혔다. 회사가 보고한 Hopper GPU 환경에서는 이로 인해 하드웨어 요구 사항이 GPU 8개에서 4개로 절반이 됐다.

의미와 파급 효과

총 매개변수와 활성 매개변수 사이의 큰 차이는 전문가 혼합(MoE) 설계를 시사하며, 이는 초대형 모델의 운영 비용을 낮추기 위한 접근법이다. 필요한 GPU 수가 절반으로 줄어든다는 것은 이 규모의 모델을 직접 운영하는 일이 더 많은 기업과 연구 그룹에게 현실적인 선택지가 될 수 있음을 뜻한다.

알리페이 운영사로 잘 알려진 앤트 그룹은 오픈 웨이트 방식으로 대형 모델을 공개하는 중국 기업 대열에 합류했다. 회사가 겨냥하는 코딩, 에이전트, 장문 문서 작업에서 Ling-3.1-flash가 어떤 성능을 내는지는 독립적인 평가를 통해 확인이 필요하다.

#앤트 그룹#Ling-3.1-flash#오픈 웨이트#대규모 언어 모델#중국 AI

댓글

서로 존중해 주세요. 댓글은 자동으로 검사되며, 스팸, 모욕 및 개인정보는 삭제됩니다. 질문에는 AI가 답변할 수 있습니다.

아직 댓글이 없습니다. 토론을 시작하거나 질문해 보세요.

관련 기사