인공 지능으로 생성된 텍스트를 감지하는 방법

튜링 테스트에 대한 튜링 테스트

요약: AI 생성 텍스트를 감지하는 새로운 도구입니다.

텍스트 생성기와 텍스트 감지기는 😾고양이와 쥐🐁 게임과 같습니다.

🤖인공지능 도구, 특히 GPT 모델이 인간의 직업을 대체하고 있습니다.

👨‍💻 나쁜 프로그래머라도 곧 교체됩니다.

인공지능 표절 도구는 여러 가지가 있었습니다.

이제 open.ai 의 인기 있는 ChatGPT 모델이 자체 출시되었습니다.

전체 블로그 게시물은 다음과 같습니다.

https://openai.com/blog/new-ai-classifier-for-indicating-ai-write-text/

해 보자:

1. 나의 원래 설명을 확인하세요

( ChatGPT 의 설명을 읽지 않고 제 경험으로 쓴 글입니다)

생성된 AI 텍스트를 감지하는 방법.

인공지능은 사전 훈련된 모델을 사용하여 텍스트를 생성할 수 있습니다.

이러한 모델은 공개 도메인 텍스트를 기반으로 하며 개념 간의 관계를 예측하여 지식을 생성할 수 있습니다.

인공지능이 생성한 합성 텍스트는 출처를 인용하지 않고 사실만 제공합니다. 때때로 우리가 개선을 요구하지 않는 한 설명이 그다지 깊지 않습니다.

생성된 텍스트를 감지하는 간단한 방법은 알려진 여러 생성기를 비교하고 원하는 텍스트를 작성하도록 요청하는 것입니다.

또 다른 힌트는 사람만이 실수를 하기 때문에 도구가 데이터 세트를 이해하는지 확인하기 위해 몇 가지 문법 실수를 추가하는 것입니다.

인공 지능이 생성한 많은 텍스트를 읽으면 동일한 문법 패턴을 사용한다는 것을 알 수 있습니다.

생성기에 다른 청중을 대상으로 하거나 능동태를 사용하도록 지시할 수 있습니다.

그런 다음 단어의 거리, 일반적인 단어 등을 측정할 수 있습니다.

이를 예측된 임계값과 비교한 후 텍스트가 인간에 의해 생성되지 않았음을 얼마나 확신하는지 확인할 수 있습니다.

위의 글은 저 혼자 썼고, HemingwayApp 이나 Grammarly 같은 여러 작성 보조 도구를 사용한 후 여기 에 새로운 도구에 넣었습니다.

결과: 분류자는 텍스트가 AI에서 생성되었을 가능성이 없다고 간주합니다. 😺

나는 튜링 테스트를 통과했다. 😺🧠

규모가 됨:

"AI로 생성될 가능성이 거의 없음"은 분류기 임계값 <0.1에 해당합니다. 우리의 챌린지 세트에서 인간이 작성한 텍스트의 약 5%와 AI가 생성한 텍스트의 2%에 이 라벨이 있습니다.

"AI 생성 가능성이 낮음"은 0.1에서 0.45 사이의 분류기 임계값에 해당합니다. 우리의 챌린지 세트에서 인간이 작성한 텍스트의 약 15%와 AI가 생성한 텍스트의 10%에 이 라벨이 있습니다.

"AI로 작성된 것인지 불분명함"은 분류기 임계값 0.45에서 0.9 사이에 해당합니다. 우리의 챌린지 세트에서 사람이 작성한 텍스트의 약 50%와 AI가 생성한 텍스트의 34%에 이 라벨이 있습니다.

"아마도 AI 생성"은 0.9에서 0.98 사이의 분류 기준에 해당합니다. 우리의 챌린지 세트에서 인간이 작성한 텍스트의 약 21%와 AI가 생성한 텍스트의 28%에 이 라벨이 있습니다.

"AI 생성 가능성이 높음"은 분류기 임계값 >0.98에 해당합니다. 우리의 챌린지 세트에서 사람이 작성한 텍스트의 약 9%와 AI가 생성한 텍스트의 26%에 이 라벨이 있습니다.

2. ChatGPT 설명을 확인하세요

나: 생성된 AI 텍스트를 감지하는 방법을 설명하세요.

ChatGPT: AI 생성 텍스트를 감지하는 것은 어려울 수 있지만 사용할 수 있는 몇 가지 방법이 있습니다.

패턴 인식: AI가 생성한 텍스트는 인간이 작성한 텍스트와 비교할 때 구별될 수 있는 문장 구조, 언어 사용 및 단어 선택의 패턴을 나타내는 경우가 많습니다.

통계 분석: AI가 생성한 텍스트는 문자, 단어 빈도, 사람이 작성한 텍스트와 다른 n-gram 분포 등 특정 통계적 특징을 분석할 수 있습니다.

인간 평가: 어떤 경우에는 인간 전문가가 텍스트를 검토하고 경험과 전문 지식을 바탕으로 텍스트가 인간에 의해 작성되었는지 아니면 AI에 의해 생성되었는지 판단할 수 있습니다.

AI 모델 사용: AI 모델은 인간이 작성한 텍스트와 AI 생성 텍스트로 구성된 레이블이 지정된 데이터 세트를 사용하여 AI 생성 텍스트를 식별하도록 훈련될 수 있습니다. 그런 다음 모델을 사용하여 보이지 않는 새로운 텍스트에서 AI 생성 텍스트를 식별할 수 있습니다.

AI 기술이 계속 발전하고 텍스트를 생성하는 새로운 방법이 개발되고 있으므로 이러한 방법이 항상 완벽하지는 않을 수 있다는 점은 주목할 가치가 있습니다.

좋은 설명입니다. 도구를 다시 사용해 보겠습니다.

결과: 분류자는 텍스트가 AI에서 생성되었을 가능성이 있다고 간주합니다.😂

모델은 인공 지능이 생성한 정확도가 0.9 이상입니다.

그것은 예상되었습니다.

3. Wikipedia의 설명을 확인하세요.

이 글을 잘라서 붙여넣자.

“NLG(자연어 생성)는 자연어 출력을 생성하는 소프트웨어 프로세스입니다. NLG 방법에 대해 널리 인용되는 조사에서는 NLG를 "정보의 기본 비언어적 표현으로부터 영어나 다른 인간 언어로 이해할 수 있는 텍스트를 생성할 수 있는 컴퓨터 시스템 구축과 관련된 인공 지능 및 계산 언어학의 하위 분야"라고 설명합니다. .

NLG 프로세스의 출력이 텍스트라는 점은 널리 동의되지만, NLG 시스템의 입력이 비언어적이어야 하는지에 대해서는 약간의 의견 차이가 있습니다. NLG 방법의 일반적인 적용에는 날씨 및 환자 보고서와 같은 다양한 보고서 작성이 포함됩니다. 이미지 캡션; 그리고 챗봇.

자동화된 NLG는 인간이 아이디어를 글이나 말로 바꿀 때 사용하는 프로세스와 비교할 수 있습니다. 심리언어학자들은 이 과정을 수학적 용어로 설명하거나 심리학 연구를 위해 컴퓨터로 모델링할 수 있는 언어 생산이라는 용어를 선호합니다.

NLG 시스템은 중간 표현에서 생성된 사람이 읽을 수 있는 코드를 생성하는 디컴파일러 또는 트랜스파일러와 같은 인공 컴퓨터 언어 번역기와도 비교할 수 있습니다.

인간의 언어는 프로그래밍 언어보다 훨씬 더 복잡하고 훨씬 더 모호하고 다양한 표현을 허용하는 경향이 있어 NLG를 더욱 어렵게 만듭니다.”

결과: 분류자는 텍스트가 AI로 생성된 경우 명확하지 않은 것으로 간주합니다. 📚

신뢰도는 0.45에서 0.9 사이입니다.

페이지의기록을 보면 봇이 아닌 여러 사람이 있는 것을 볼 수 있습니다.

내 결론은 ChatGPT에 텍스트가 부분적으로 제공되었으므로 과적합을 측정하고 있다는 것입니다.

4. Human Edit로 ChatGPT를 확인하세요

ChatGPT에서 생성된 텍스트를 가져와서 편집 도구를 사용하여 직접 편집했습니다.

AI가 생성한 텍스트를 감지하는 것은 어려울 수 있지만 여러 가지 방법을 사용할 수 있습니다.

사람이 작성한 텍스트와 AI 생성 텍스트로 구성된 레이블이 지정된 데이터 세트를 사용하여 AI 생성 텍스트를 식별하도록 훈련함으로써 AI 모델을 사용할 수도 있습니다.

AI 생성 텍스트는 인간이 작성한 텍스트와 비교하여 구별될 수 있는 문장 구조, 언어 사용 및 단어 선택의 패턴을 나타내는 경우가 많으므로 패턴 인식을 사용할 수 있습니다.

게다가 인간 전문가가 텍스트를 검토하고 자신의 경험과 전문 지식을 바탕으로 인간이 쓴 것인지 판단할 수 있는 인간 평가도 있습니다.

또한 통계 분석이라는 도구를 사용하여 AI가 생성한 텍스트에서 문자, 단어 빈도, 사람이 작성한 텍스트와 다른 n-gram 분포 등 특정 통계 특징을 확인할 수도 있습니다.

모델을 사용하여 새로운 텍스트와 보이지 않는 텍스트에서 AI 생성 텍스트를 식별할 수 있습니다.

마지막으로 AI 기술은 빠르게 발전하고 있으며 항상 완벽하지는 않은 텍스트를 생성하는 새로운 방법이 있습니다.

결과: 분류자는 텍스트가 AI에서 생성되었을 가능성이 있다고 간주합니다. 👿

나는 시스템을 속일 수 없었다.

5. 나의 이전 글 확인하기

나는 이 도구를 사용하여 많은 기사를 확인했습니다.

ChatGPT: 25년 이상 경력 프로그래머의 놀라운 교사

결과: 분류자는 해당 텍스트가 AI에서 생성되었을 가능성이 없는 것으로 간주합니다. 😃

5가지 난이도로 설명: ChatGPT

결과: 분류자는 텍스트가 AI로 생성된 경우 명확하지 않은 것으로 간주합니다.

정확합니다. 나는 몇 가지 아이디어를 얻기 위해 ChatGPT와 "대화"했습니다. 😳

GitHub Copilot이 귀하의 직업에 위협이 되지 않는 이유

결과: 분류자는 해당 텍스트가 AI에서 생성되었을 가능성이 매우 낮다고 간주합니다. 😃

☝️ 자신이 만든 기사를 시험해 볼 수 있습니다!

마지막 생각들

이것은 Open.ai 의 또 다른 놀라운 도구입니다.

공식 페이지에는 정확성, 결정성 및 평가에 대한 매우 흥미로운 세부 정보가 있습니다.