우리는 LLM(대형 언어 모델)의 놀라운 기능을 목격했지만, 우리 주변 세계에 대한 이해에는 격차가 있었습니다. 즉, 누락된 부분이 있었습니다. 그들은 텍스트, 코드, 이미지에 있어서 뛰어난 능력을 발휘했지만 현실에 진정으로 참여하기 위해 애썼습니다. 즉, 지금까지입니다. AI 환경의 획기적인 도약은 바로 3D-LLM입니다. 3D-LLM은 언어와 우리가 살고 있는 3D 영역 사이의 격차를 해소하는 새로운 모델입니다. 우리 세계 전체를 포괄하지는 않지만, 우리 삶을 형성하는 중요한 차원과 텍스트를 이해하는 데 있어 기념비적인 진전입니다. 영상에서 확인하실 수 있듯이 3D-LLM은 세상을 인식할 뿐만 아니라 세상과 상호작용합니다. 환경에 대해 질문하고, 물체를 찾고, 공간을 탐색하고, 상식적인 추론을 목격할 수 있습니다. 이는 우리가 ChatGPT에서 경험한 놀라운 업적을 연상시킵니다. 흥미롭게도 그것이 보는 세상은 전통적으로 아름답지 않을 수도 있지만, 그 이해는 포인트 클라우드와 언어에 뿌리 깊게 뿌리를 두고 있습니다. 3D 데이터 표현의 기반인 포인트 클라우드는 객체와 환경의 공간 좌표를 인코딩하여 AI가 실제 세계와 유형의 방식으로 상호 작용할 수 있도록 합니다. 자율 주행, 로봇 공학 및 증강 현실에서의 역할을 생각해 보십시오. 3D-LLM은 이 영역을 활용합니다. 흥미롭게도 이러한 모델이 어떻게 3차원 데이터와 언어를 파악하도록 훈련되었는지 궁금할 것입니다. 저자가 고유한 3D 텍스트 데이터 세트를 구성하는 과정은 혁신적이고 복잡했습니다. 그들은 ChatGPT의 능력을 활용하여 여러분이 배우게 될 세 가지 고유한 방법을 통해 이 데이터를 수집하여 각 장면에 대한 작업 및 예제의 포괄적인 저장소를 만들었습니다. 이 풍부한 데이터 세트에서 저자는 텍스트와 3D 포인트 클라우드를 모두 처리할 수 있는 AI 모델을 구축했습니다. 모델은 장면을 촬영하고, 다양한 관점을 통해 중요한 특징을 추출하고, 모델이 이해하는 바에 맞는 형태로 재구성합니다. 결과? 우리 세계를 진정으로 보고 이해하는 모델인 최초의 3D-LLM이 탄생하여 AI의 진화를 흥미롭게 엿볼 수 있습니다. 비디오는 여정의 스냅샷을 제공하지만 이 혁신 뒤에 숨은 인상적인 엔지니어링 업적에 대해 더 자세히 알아보려면 논문을 살펴보시기 바랍니다. 링크는 아래 참고자료에 나와 있습니다. 즐거운 관람 되세요! 자세히 알아보려면 동영상을 시청하세요. https://youtu.be/ADlXEUqIt-8?embedable=true 참고자료: ►전체 기사 읽기: https://www.louisbouchard.ai/3d-llm/ ►비디오 데모가 포함된 프로젝트 페이지: ►코드: https://vis-www.cs.umass.edu/3dllm/ https://github.com/UMass-Foundation-Model/3D-LLM ►논문: 홍 외, 2023: 3D-LLM, https://arxiv.org/pdf/2307.12981.pdf ►트위터: https://twitter.com/Whats_AI ►내 뉴스레터(매주 이메일로 새로운 AI 애플리케이션 설명!): https://www.louisbouchard.ai/newsletter/ ►Patreon에서 저를 지원해주세요: https://www.patreon.com/whatsai ►AI Discord에 참여하세요: https://discord.gg/learnaitogether
