초보자를 위한 LLM - 연습 가이드 및 용어집

혹시 당신👆인가요? 당신은 CompSci를 하지 않았기 때문에 이제 당신은 법원 광대가 되어 세계에서 가장 빠르게 움직이는 산업 __에서 지식을 확장하기 위해 빠르게 노력하고 있습니까?

숨을. 여기 " 정말 멍청한 질문"을 물어도 평가받는 느낌을 받지 않을 수 있는 기본으로 돌아가는 게시물이 있습니다.

학습을 위한 LLM 용어에 대한 작은 용어집

Transformer — 눈에 보이는 것 이상… 기계 학습, 특히 텍스트나 오디오와 같은 데이터 시퀀스를 처리하는 데 사용되는 모델 유형입니다. 문장의 맥락을 이해하는 데 능숙하며 언어 번역, 텍스트 요약 또는 챗봇 응답 생성에 사용할 수 있습니다.

LLM(대형 언어 모델) — 기사를 작성하고, 질문에 답하고, 현실적인 대화를 만들 수 있는 거대한 언어 지식 데이터베이스와 같습니다.

Transformer는 AI에서 언어 처리에 사용되는 기술입니다. LLM은 언어 작업을 위한 대규모 AI 모델로, 종종 Transformer 기술을 사용하여 구축됩니다.

인터페이스 — 사용자가 상호 작용할 수 있도록 하는 컴퓨터 시스템 또는 소프트웨어의 일부입니다. 질문이나 명령을 입력하면 프로그램이 응답하는 프로그램의 프런트 엔드라고 생각하십시오.

추론 — AI에서 이는 훈련된 모델을 사용하여 예측이나 결정을 내리는 것을 의미합니다. 예를 들어, 사진 속 고양이를 인식하도록 모델을 훈련시킨 후 모델이 새 사진을 보고 그 안에 고양이가 있는지 판단하면 추론이 이루어집니다.🐈‍⬛

감독 학습(Supervised Learning) — 모델 예제에 답변을 제공하는 기계 교육 방법입니다. 프로그램에 고양이 사진을 많이 보여주고 '이건 고양이다'라고 말하면서 고양이가 어떻게 생겼는지 배우는 것과 같습니다.

비지도 학습 ( heeeyo ) — 답을 주지 않고 기계를 훈련시킵니다. 모델은 데이터를 보고 자체적으로 패턴이나 그룹을 찾으려고 시도합니다. 예를 들어, 장르 이름을 알려주지 않고도 다양한 유형의 음악을 장르로 분류할 수 있습니다.

강화 학습 — 시행착오를 통해 기계를 교육합니다. 기계는 상황에 따라 선택을 하고 선택이 좋은지 나쁜지에 따라 보상이나 처벌을 받으며, 시간이 지남에 따라 더 나은 결정을 내리기 위해 학습합니다( 또는 분개하고 비밀스러워지도록).

신경망 — 인간의 두뇌처럼 작동하도록 설계되었습니다. 이는 정보를 처리하고 문제를 해결하기 위해 함께 작동하는 많은 작은 단위(예: 뇌 세포)로 구성됩니다.

LLM 만들기

데이터 수집

다양한 텍스트 데이터를 수집하는 것부터 시작해 보세요. 여기에는 책, 온라인 기사 또는 데이터베이스의 데이터가 포함될 수 있습니다. 데이터가 다양할수록 LLM은 언어의 다양한 측면을 더 잘 이해할 수 있습니다.

Kaggle은 ML 및 데이터 과학 프로젝트를 위한 훌륭한 데이터를 보유하고 있습니다. 호주 현지인이자 Kaggle 그랜드마스터인 Jeremy Howard를 확인해 보세요.

GitHub는 연구원과 개발자가 게시한 데이터 세트를 호스팅하는 경우가 많습니다. 검색하기 좋은 곳.

언급할 가치가 있는 - 논문 및 정부 사이트와 관련된 데이터세트를 제공하는 Google Scholar

데이터 전처리

이제 이 데이터를 정리하세요. 이 단계는 오류를 수정하고, 유용하지 않은 부분을 제거하고, AI가 효과적으로 학습할 수 있도록 구성하는 것입니다.

고려사항

누락된 값을 어떻게 처리하고, 형식 문제를 수정하고, 중복 데이터를 처리하시겠습니까?

모델 아키텍처 선택

모델 아키텍처는 본질적으로 모델의 설계 또는 구조로, AI가 정보를 처리하는 방법을 안내하는 청사진 역할을 합니다.

Transformer 아키텍처는 특히 데이터 내의 컨텍스트를 이해하는 데 중점을 두고 텍스트와 같은 순차 데이터를 처리하도록 맞춤화되었으며 오늘은 이를 계속 다루겠습니다.

모델 훈련

준비된 데이터를 AI 모델에 입력하세요. AI가 언어의 복잡성을 학습하기 시작하는 곳입니다. 훈련은 특히 데이터가 많은 경우 시간과 리소스가 많이 소모될 수 있습니다. (여기서 Unsloth 의 내 친구들을 언급하고 싶습니다. 팟캐스트는 곧 출시될 예정입니다.)

테스트 및 개선

훈련 후에는 AI가 언어를 얼마나 잘 이해하고 생성하는지 평가하세요. 결과에 따라 성능을 향상시키기 위해 조정하고 재교육해야 할 수도 있습니다.

LLM 실행

이제 짐승을 어떻게 달리게 합니까?

처음부터 LLM을 구축하는 대신 Hugging Face를 사용하여 엄청난 양의 데이터에 대해 이미 훈련된 모델에 액세스할 수 있습니다. 이러한 모델을 클라우드 서비스에서 실행하거나 다운로드하여 컴퓨터에서 로컬로 실행할 수 있습니다.

선택에 관계없이 핵심은 훈련된 LLM 모델 과 인터넷을 통하든 컴퓨터에서 직접 상호작용할 수 있는 수단을 갖추는 것입니다.

이 글은 오픈 소스 AI에 대한 이해와 채택의 장벽을 낮추는 것을 목표로 하는 일련의 게시물 중 1부입니다.

저는 여기서 팟캐스트를 쓰고 제작합니다.

(비)지도 학습

다른 링크는 여기 https://linktr.ee/Unsupervisedlearning

여기에도 게시됨