ETRI, AI 작업평가 자동화 기술 개발 > 과학

1. ETRI, 사용자 명령에 따라 AI의 작업 절차를 실행하고 그 결과를 자동으로 평가하는 기술 개발.
2. AI2-THOR 가상 시뮬레이션에서 22종의 AI 성능을 테스트하고 성공률을 공개.
3. 성공률 20%는 100개의 절차 중 20개를 성공적으로 수행한다는 의미.

[설명]
한국전자통신연구원(ETRI)은 '로타벤치마크(LoTa-Bench)' 기술을 개발하여 AI의 작업 수행 능력을 자동으로 평가하는 시스템을 선보였다. 이 기술은 사용자 명령을 받아 AI가 생성한 작업 절차를 실행하고 그 결과를 목표와 비교하여 성공 여부를 자동 판단하는 기능을 제공한다. 최근 AI의 성능평가는 인간이 직접 수행했지만, 이 기술을 활용하면 객관적이고 신속한 성능평가가 가능해질 전망이다. 또한, ETRI는 알렌인공지능연구소(AI2-THOR)와 매사추세츠공대(MIT) 등에서 다양한 AI 모델의 성능을 평가하고 결과를 공개하며, AI 성능평가 기술에 새로운 지평을 열었다.

[용어 해설]
- 로타벤치마크(LoTa-Bench) 기술: AI의 작업 수행 능력을 자동으로 평가하는 기술
- LLM(거대언어모델): Large Language Model의 약어로, 대용량 텍스트 데이터를 활용한 인공지능 언어 모델
- 성공률: AI가 주어진 작업을 성공적으로 수행한 비율

[태그]
#ETRI #인공지능 #로타벤치마크 #AI2-THOR #매사추세츠공대 #성능평가 #인공지능모델 #빅데이터 #평가기술 #자동화 #로봇 #한국전자통신연구원

추천0 비추천 0