반응형 AI10 [#RAG] 01. RAG 프로세스 확인과 실습 진행 안녕하세요! 잡다한 공방입니다. 지난 포스팅에서 RAG의 이론을 다뤘다면, 오늘은 실제로 로컬 문서를 읽어와 AI에게 특정 분야의 전문 지식을 학습시키는 실습 환경 구축 과정을 정리했습니다. 1. RAG의 핵심 프로세스RAG는 모델이 학습하지 않은 외부 데이터를 참조하여 답변의 정확도를 높이는 기술로, 총 5단계의 과정을 거칩니다.문서 로드(Load): docx, pdf 등 다양한 포맷의 데이터를 읽어옵니다.문서 분할(Splitting): 토큰 제한 및 처리 효율을 위해 문서를 적절한 크기(Chunk)로 쪼갭니다.임베딩 및 벡터 저장: 텍스트를 벡터로 변환하여 벡터 DB(Chroma)에 저장합니다.유사도 검색: 질문과 가장 관련성이 높은 문서 조각을 벡터 DB에서 찾아냅니다.답변 생성: 검색된 결과와 질.. 2026. 3. 1. [#RAG] 00. RAG란 무엇인가? AI 애플리케이션 개발에서 가장 중요한 개념 중 하나인 RAG(Retrieval-Augmented Generation, 검색 증강 생성)에 대해 정리해 보겠습니다. 모델이 학습하지 않은 최신 정보나 내부 기밀 데이터를 안전하게 참조하게 만드는 핵심 기술입니다.1. RAG의 구조: Retrieval + Augmented + GenerationRAG는 이름 그대로 세 가지 과정을 통해 작동합니다.Retrieval (검색): 컴퓨터 시스템에 저장된 방대한 자료 중 필요한 정보를 취득합니다. LLM이 학습한 이후의 최신 자료나 외부 정보를 가져오는 핵심 과정입니다.Augmented (증강): 검색된 데이터를 LLM에게 제공하여, AI가 해당 내용을 기반으로 답변을 생성하도록 사실 관계를 주입(증강)합니다.Gen.. 2026. 2. 27. [#LangChain] 07. LCEL의 이해와 활용 1. LCEL이란?LCEL(LangChain Expression Language)은 다양한 구성 요소를 단일 체인으로 결합하는 언어입니다. | 기호는 UNIX 명령어 파이프 연산자와 유사하며, 한 구성 요소의 출력을 다음 구성 요소의 입력으로 즉시 전달하는 역할을 수행합니다.핵심 개념: RunnableLCEL을 이해하려면 Runnable 클래스를 알아야 합니다. 모든 LCEL 컴포넌트의 기본 클래스로, 우리가 사용하는 대부분의 도구가 이를 상속받습니다.stream: 응답의 청크를 스트리밍 방식으로 출력합니다.invoke: 입력값에 대해 체인을 단발성으로 호출합니다.batch: 여러 입력 리스트에 대해 체인을 한 번에 호출합니다.다양한 Runnable 종류Chain: 여러 Runnable을 순차적으로 실행.. 2026. 2. 27. [#LangChain] 06. AI의 답변을 원하는 형식으로, Output Parser 1. Output Parser의 필요성복잡성 해소: 기존 LLM 응답은 AIMessage 객체 내에 텍스트 외에도 토큰 정보, 메타데이터가 섞여 있어 바로 사용하기 어렵습니다.데이터 추출: 답변에서 특정한 내용만 추출하여 후속 로직(DB 저장, API 호출 등)에 즉시 활용할 수 있습니다.2. 주요 활용 종류📝 StrOutputParser응답 내용 중 순수 텍스트(String)만 추출합니다.📊 JsonOutputParserJSON 형태의 답변을 파이썬 딕셔너리로 변환합니다. (응답이 유동적일 수 있음)구조화 Pydantic사전에 정의한 스키마(Schema)에 맞춰 객체 형태로 변환합니다.3. 실습 진행① StrOutputParser 실습가장 기본이 되는 파서로, 불필요한 메타데이터를 제거하고 핵심 답.. 2026. 2. 27. 이전 1 2 3 다음 반응형
