chunk2 코드로 알아보는 데이터 청킹!! : 5 Chunking Strategies for RAG with code 지난 시간에 이어서 직접 코드로 인공지능 검색 알고리즘을 위한 5가지 방법의 "데이터 청킹"을 해보겠습니다. 데이터 청킹이 어떤 것인지 감이 안 잡힌다면 다음 글 먼저 읽으시는 것을 권장 드립니다.https://codzer.tistory.com/1 데이터 청킹(Ckunking)이란?데이터 청킹 : 인공지능에게 줄 자료를 정리청킹이란 무엇일까요? 네이버 사전에 청크의 뜻을 검색해보면다음과 같은 결과가 나옵니다. 즉, 자료를 한 덩어리로 쪼개는 과정인데 이러한 과정codzer.tistory.com 1. 검색 증강 모델(이하 RAG) 선언from rich import printfrom langchain.docstore.document import Documentfrom langchain_community... 2025. 1. 10. 데이터 청킹(Chunking)이란? 데이터 청킹 : 인공지능에게 줄 자료를 정리청킹이란 무엇일까요? 네이버 사전에 청크의 뜻을 검색해보면다음과 같은 결과가 나옵니다. 즉, 자료를 한 덩어리로 쪼개는 과정인데 이러한 과정은 왜 필요한 것일까요? 이유는 다음과 같습니다.1. 인공지능이 한번에 처리할 수 있는 데이터의 양은 제한되어 있습니다. 따라서 데이터를 인공지능이 먹을 수 있는만큼으로 쪼개서 주는 것입니다.2. 효율적으로 청킹된 데이터는 인공지능의 데이터 검색 정확도를 올려줍니다. ※ 청킹 VS 라벨링여기서 주의해야할 점!! 청킹과 라벨링은 명확히 구분해야합니다.청킹과 라벨링은 인공지능이 이용할 데이터를 만든다는 의미에서는 비슷하지만 차이점이 있습니다.라벨링은 인공지능이 학습을 할 때, 필요한 학습 데이터의 정답을 지정해주는 작업입니다.. 2025. 1. 4. 이전 1 다음
