용어사전으로

token

과학기술

AI가 문장을 읽고 답변을 만들 때 사용하는 기본 단위로, 영어 단어를 약 3개에 해당하는 4개의 토큰으로 나눠서 처리한다.

최근 등장: · 마지막 갱신: