당신의 지적 영향 향상

2강_자연어처리 모델의 기본동작 원리

 

 

1. 자연어처리 모델 개념 이해 

2. 자연어처리 모델 작동 원리

3. 생성형  AI의 주요 특징

 

[자연어처리 모델 개념 이해 ]

1) 자연어 처리란?(NLP)

  - 컴퓨터가 인간의 언어(자연어)를 이해하고 생성하며 분석하는 기술

  - 자연어 = 사람들이 일상적으로 사용하는 언어

 

2) 컴퓨터는 어떻게 언어를 이해할까?

  - 컴퓨터는 이진법으로 작동하며 모든정보를 0과 1로 이루어진 이진수료 표

  - 자연어를 컴퓨터가 처리할 수 있는 수자나 기계적 표현으로 변환 --> 임베

단어간의 관계를 파악하여 중요도 결정 → 문맥 파악, 적절성 확인, 단어간의 관계를 계산하여 어떤 단어가 핵심적인지 파악

 

생성형  AI  주요 특징

  - 매번 다른 답변을 출력하는 생성형 AI 

  . 확률적 예측 : 다음 단어나 구절을 선택할 때 여러 가능성의 확률분포를 계산하고 그중 하나를 선택

  . 랜덤 샘플링 : 답변 생성 과정에서 무작위 요소가 도입되어 다양한 결과를 얻도록 설계되어 있음

 

[학습정리]

1. 프롬프트 엔지니어는 자신이 사용하는 모델의 특성일 이해해야 합니다.

2. 생성형 AI 는 '비결정론적 알고리즘'에 의해 매번 다른 답변을 생성합니다.

3. 모델은 프롬프트에 따라 사용자의 의도를 파악하고 그에 다른 답을 생성합니다. 

  → 끊임없이 프롬프트 계산 적절한 것 찾아야 한다.