[프로젝트 회고록] Co Labor를 마치며,,,

1. 프로젝트 소개 1-1. Co-Labor : 외국인 근로자 서포트 플랫폼외국인 근로자들이 한국에서 안정적으로 정착하고 적응할 수 있도록 돕는 플랫폼일자리, 정보 부족, 법률 등 외국인 근로자들이 겪을 수 있는 다양한 문제 해결에 도움을 줌프로젝트 인원 : 4명 ( 백엔드 3명, 프론트 1명)개발기간: 2024.07.01 ~ 2024.07.22 / 2024.07.30 ~ 2024.08.02 / 2024.10.03 ~ 2024.10.18  이 프로젝트는 사회적 약자 지원에 대한 주제에서 외국인 근로자도 사회적 약자에 포함되지 않을까? 에서 시작된 프로젝트이다. 우리나라의 저출산은 점차 심해지며, 일손은 부족해지고 이에 따라 외국인 채용을 늘리는 추세이다. 대한민국이 아시아 최초의 다문화 국가가 된 그 흐..

프론트를 HTTPS로 변경했더니 백으로 HTTP 요청을 보내는게 작동하지 않았다. HTTPS 페이지에서 HTTP 리소스를 로드하려 하면 브라우저가 차단하는 등 보안적인 문제가 있었다. 이를 해결하기 위해 백엔드 전체를 HTTPS로 전환하거나 Nginx와 같은 프록시를 사용하여 HTTPS 요청을 HTTP 백엔드로 전달할 수 있다.백엔드를 HTTPS로 전환하려면 인증서를 발급받거나 AWS의 ACM을 사용하고 EC2 인스턴스에 인증서를 설치해야 한다. 이 인증서는 유효기간도 있고 과정이 복잡하기에 Nginx를 사용하기로 했다.Nginx를 사용해도 인증서가 필요하긴 하지만 Nginx 설정에 명시할 수 있다. 하지만 EC2 서버에 ACM을 설치할 수 없기에 Let's Encrypt 인증서를 Nginx에 설치해서 ..

기존 생각해둔 알고리즘은 다음과 같다.알고리즘데이터 수집 및 전처리법률 문서, 판례 등 데이터 수집특수 문자, 불필요한 공백 등 제거텍스트 정규화KoNLPy을 통해 텍스트 토큰화불용어 처리Elasticsearch 구축Elasticsearch 클러스터 설정한국어 분석기 nori를 통해 법률 데이터를 색인화하여 Elasticsearch에 저장KoBERT 모델 다운로드 및 설정성능이 잘 안나온다면 법률 도메인 데이터로 파인튜닝RAG 파이프라인 구현Retrieval : 사용자 질문을 KoBERT로 임베딩하여 검색검색된 문서와 원래 질문을 결합하여 LLM input으로 사용그런데 엘라스틱 서치를 생각해보면 inverted index로 이루어져 있다. 그렇다면 왼쪽에 term을 기준으로 오른쪽에 posting이 달..

현재 챗봇은 GPT API만을 사용하고 있고 챗봇을 개선할 수 있는 방법은 다음과 같다.1. Fine Tuning2. RAGhttps://www.law.go.kr/LSW/main.html국가법령정보센터 공동 활용 https://open.law.go.kr/LSO/lab/hangulAddr.do위의 링크에서 데이터 수집 후 전처리전처리된 데이터를 임베딩임베딩 된 공간에서 사용자 질문 검색 후 유사도가 가장 높은 결과 반환Fine Tuning 혹은 Prompt에 결과와 함께 대답 요구 (CHAIN OF THOUGHT 기법 사용)참고로 CAHIN OF THOUGHT 기법은 풀이 과정을 대답에서 함께 내놓는 방법이다. 추론을 할 때 왜 이렇게 추론했는지 대답에 포함해주면 정확도가 더욱 올라간다.여기서는 RAG를 ..

먼저 RDS로 데이터베이스부터 배포해보자.1. AWS 가입 및 RDS 접속지역 설정 주의! 데이터베이스 생성을 누른다.2. 데이터베이스 설정방화벽은 새로 생성해도 되고 기존 항목 선택에서 기본값을 설정해도 된다. 어차피 나중에 설정해야 한다.Estimated Monthly costs는 청구 예상 비용이 메겨져 있을 수 있으나 월별 추정 요금의 설명에 따르면 프리 티어는 무료라고 한다. 여기서 엔드포인트를 확인할 수 있다. 그리고 보안 그룹을 눌러보면 인바운드 규칙란이 있는데 클릭해서 규칙을 편집해야 한다.데이터베이스에 대해 외부에서 접근 보안을 어떻게 설정할 것인가에 대한 것이다.3306 포트로 EC2의 보안그룹을 설정하여 EC2에서만 접근할 수 있도록 설정했다. EC2 인스턴스와 RDS의 관계는 로컬 ..

기능 설명 📘현재 AI 검색은 단일 키워드에 대해 학습된 모델에서 유사 키워드를 DB에서 찾아서 검색하는 방식이다. 이 방식은 문장에 대해 성립하지 않아서 생성형 AI를 이용해서 문장을 여러 개의 keywords로 바꾸고 keywords를 검색해서 결과를 반환하는 방식으로 보완이 필요하다.구현 방법 🛠문장을 키워드로 변환: 사용자가 입력한 문장을 Open AI API를 사용하여 키워드 리스트로 변환한다.키워드를 기반으로 검색: 변환된 키워드를 사용하여 데이터베이스에서 유사한 데이터를 검색한다(기존 알고리즘 사용).오픈 AI API를 사용하여 sentence를 연관된 keywords로 바꾸는 코드를 새로 작성했다. 스프링의 RestTemplate로 오픈 AI API에 POST 요청을 보내는 방식이다.h..