기존 생각해둔 알고리즘은 다음과 같다.알고리즘데이터 수집 및 전처리법률 문서, 판례 등 데이터 수집특수 문자, 불필요한 공백 등 제거텍스트 정규화KoNLPy을 통해 텍스트 토큰화불용어 처리Elasticsearch 구축Elasticsearch 클러스터 설정한국어 분석기 nori를 통해 법률 데이터를 색인화하여 Elasticsearch에 저장KoBERT 모델 다운로드 및 설정성능이 잘 안나온다면 법률 도메인 데이터로 파인튜닝RAG 파이프라인 구현Retrieval : 사용자 질문을 KoBERT로 임베딩하여 검색검색된 문서와 원래 질문을 결합하여 LLM input으로 사용그런데 엘라스틱 서치를 생각해보면 inverted index로 이루어져 있다. 그렇다면 왼쪽에 term을 기준으로 오른쪽에 posting이 달..

먼저 RDS로 데이터베이스부터 배포해보자.1. AWS 가입 및 RDS 접속지역 설정 주의! 데이터베이스 생성을 누른다.2. 데이터베이스 설정방화벽은 새로 생성해도 되고 기존 항목 선택에서 기본값을 설정해도 된다. 어차피 나중에 설정해야 한다.Estimated Monthly costs는 청구 예상 비용이 메겨져 있을 수 있으나 월별 추정 요금의 설명에 따르면 프리 티어는 무료라고 한다. 여기서 엔드포인트를 확인할 수 있다. 그리고 보안 그룹을 눌러보면 인바운드 규칙란이 있는데 클릭해서 규칙을 편집해야 한다.데이터베이스에 대해 외부에서 접근 보안을 어떻게 설정할 것인가에 대한 것이다.3306 포트로 EC2의 보안그룹을 설정하여 EC2에서만 접근할 수 있도록 설정했다. EC2 인스턴스와 RDS의 관계는 로컬 ..

기능 설명 📘키워드를 AI를 활용하여 검색입력한 키워드와 유사한 정보 가지고있는 Review, Job, Enterprise JSON으로 리턴구현 방법 🛠데이터 추출 및 학습: MySQL 데이터베이스에서 데이터를 추출하고 Word2Vec 모델을 학습하여 유사 키워드를 생성하는 모델 생성유사 키워드 검색: 사용자가 입력한 키워드를 바탕으로 학습된 모델을 사용하여 유사한 키워드를 생성데이터베이스 검색: 유사 키워드를 사용하여 데이터베이스에서 관련된 데이터를 검색검색 결과 반환: 검색된 데이터를 JSON 형식으로 반환build.gradledeeplearning4j-nlp, nd4j 의존성 추가plugins { id 'java' id 'org.springframework.boot' version '3.3.1'..