기존 생각해둔 알고리즘은 다음과 같다.알고리즘데이터 수집 및 전처리법률 문서, 판례 등 데이터 수집특수 문자, 불필요한 공백 등 제거텍스트 정규화KoNLPy을 통해 텍스트 토큰화불용어 처리Elasticsearch 구축Elasticsearch 클러스터 설정한국어 분석기 nori를 통해 법률 데이터를 색인화하여 Elasticsearch에 저장KoBERT 모델 다운로드 및 설정성능이 잘 안나온다면 법률 도메인 데이터로 파인튜닝RAG 파이프라인 구현Retrieval : 사용자 질문을 KoBERT로 임베딩하여 검색검색된 문서와 원래 질문을 결합하여 LLM input으로 사용그런데 엘라스틱 서치를 생각해보면 inverted index로 이루어져 있다. 그렇다면 왼쪽에 term을 기준으로 오른쪽에 posting이 달..

현재 챗봇은 GPT API만을 사용하고 있고 챗봇을 개선할 수 있는 방법은 다음과 같다.1. Fine Tuning2. RAGhttps://www.law.go.kr/LSW/main.html국가법령정보센터 공동 활용 https://open.law.go.kr/LSO/lab/hangulAddr.do위의 링크에서 데이터 수집 후 전처리전처리된 데이터를 임베딩임베딩 된 공간에서 사용자 질문 검색 후 유사도가 가장 높은 결과 반환Fine Tuning 혹은 Prompt에 결과와 함께 대답 요구 (CHAIN OF THOUGHT 기법 사용)참고로 CAHIN OF THOUGHT 기법은 풀이 과정을 대답에서 함께 내놓는 방법이다. 추론을 할 때 왜 이렇게 추론했는지 대답에 포함해주면 정확도가 더욱 올라간다.여기서는 RAG를 ..

기능 설명 📘현재 AI 검색은 단일 키워드에 대해 학습된 모델에서 유사 키워드를 DB에서 찾아서 검색하는 방식이다. 이 방식은 문장에 대해 성립하지 않아서 생성형 AI를 이용해서 문장을 여러 개의 keywords로 바꾸고 keywords를 검색해서 결과를 반환하는 방식으로 보완이 필요하다.구현 방법 🛠문장을 키워드로 변환: 사용자가 입력한 문장을 Open AI API를 사용하여 키워드 리스트로 변환한다.키워드를 기반으로 검색: 변환된 키워드를 사용하여 데이터베이스에서 유사한 데이터를 검색한다(기존 알고리즘 사용).오픈 AI API를 사용하여 sentence를 연관된 keywords로 바꾸는 코드를 새로 작성했다. 스프링의 RestTemplate로 오픈 AI API에 POST 요청을 보내는 방식이다.h..