피지컬 100과 묘하게 닮아있는 독파모
최근 독자 AI 파운데이션 모델, 이른바 ‘독파모’의 2차 단계평가 결과를 보면서 조금 이상하다는 생각이 들었습니다.
LG AI연구원, SK텔레콤, 업스테이지가 다음 단계에 진출했고 모티프테크놀로지스는 탈락했습니다. 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성되고, 각 항목의 점수를 종합해 다음 단계 진출팀을 가리는 방식입니다. 그런데 세부 결과를 보면 한 팀이 모든 영역을 압도한 것은 아니었습니다.
- 글로벌 AI 모델 성능 평가인 AAII에서는 모티프테크놀로지스가 가장 높은 평가를 받았고
- NIA 자체 벤치마크에서는 SK텔레콤이 1위였으며
- 전문가 평가에서는 LG AI연구원이 가장 높은 점수를 받았습니다.
- AI 전문 사용자 평가에서는 SK텔레콤이, 일반 국민 평가에서는 LG AI연구원이 가장 높은 평가를 받았습니다.
즉 각 팀이 잘하는 영역이 분명히 달랐는데, 마지막에는 이 차이를 하나의 종합평가 안에서 다시 비교해 다음 단계 진출 여부를 결정합니다.
저는 이걸 보면서 넷플릭스의 ‘피지컬 100’과 ‘피지컬 아시아’가 떠올랐습니다. 피지컬 100의 목적은 가장 강한 한 사람을 찾는 것입니다. 근력, 지구력, 순발력, 민첩성처럼 서로 다른 능력을 평가하더라도 결국 한 사람이 여러 미션을 통과하며 마지막까지 살아남아야 합니다. 반면 팀으로 경쟁한다면 같은 평가도 의미가 달라집니다. 근력이 필요한 경기에는 근력이 강한 선수가 중심이 되고, 지구력이 중요한 경기에서는 또 다른 선수가 중심이 됩니다. 모든 약점을 없앤 한 사람을 만드는 것이 아니라, 서로 다른 강점을 조합해 전체의 경쟁력을 높입니다.
정리하면,
**피지컬 100에서 평가는 순위를 만들고,
피지컬 아시아에서 평가는 역할을 만듭니다.**
제가 느끼기에는 독파모가 현재 찾고 있는 것은 여러 능력을 고르게 갖춘 하나의 ‘올라운드 플레이어’에 가깝습니다. 벤치마크도 강하고, 한국어도 잘하고, 산업 적용도 잘하며, 기술 독자성 · 사용자 경험 · 생태계 확장성까지 모두 좋은 모델이라면 이상적입니다. 그런데 글로벌 경쟁으로 가면 문제가 조금 달라집니다. 한국에서 가장 밸런스가 좋은 모델을 선발하더라도 미국의 주요 AI 기업들과 경쟁할 때는 각 능력의 절대적인 수준 자체가 중요합니다. 미국의 AI 생태계 역시 하나의 기업이 모든 영역을 책임지는 구조라기보다, 서로 다른 강점과 전략을 가진 여러 기업이 경쟁하면서 발전해 왔습니다.
이런 점들을 생각하다 보니, 지금 독파모가 ‘가장 강한 하나의 올라운드 플레이어’를 선발하는 방향으로 가는 것이 한국 AI 경쟁력에 가장 적합한 방식인지 의문이 들었습니다.
다른 분들은 어떻게 보고 계시는지 궁금합니다.
저는 밴치 마크는 별로 믿지 않습니다
현재 클로드 지피티 제미나이 그록을 다 쓰고 있는데
각각의 AI들이 특징과 개성이 있더군요
각각의 개성에 맞는 일을 주면 된다고 생각합니다
상호보완 될수 있는 AI 는 3개는 필요하다고 봅니다
저는 모티브가 주장하는 효율성이 가장 인상깊습니다
상업적으로 성공가능한 모델입니다
저도 벤치마크의 한계는 인지하고 있습니다. 간단하게 말씀드리자면, AI가 증류를 통해 더 작고 빠르게 효율화되더라도 벤치마크 점수가 비슷하다고 해서 본질적인 사고 능력까지 같다고 보기는 어렵다고 생각합니다. 저는 이걸 음악을 들을 때의 EQ와 음원 해상도에 비유해서 보고 있습니다.
그리고 독파모 관련해서 말씀하신 부분에 저도 공감합니다. 굳이 피지컬 100처럼 단일 선수, 단일 기업의 관점이 필요한 걸까... 좀 더 개성을 수용해서 어차피 경쟁해야 할 미중 등 세계 기업을 상대로 피지컬 아시아처럼 팀의 관점으로 볼 수는 없는 건가... 이렇게 말입니다.