ai / ml 뉴스 기사 수집해서 llama2 에 질의하기 (feat. Silicon 맥북 with GPU) M1/M2 같은 Silicon Mac 계열에서 GPU 를 사용하여 llama2 를 파인튜닝 해보고, 뉴스기사를 Embedding 하여 langchain 으로 얼마나 만족스러운 답변을 하는지를 테스트 해봤다.
ai / ml Embedding으로 Llama2 응답 보정하기 (feat. langchain) 로컬머신에서 LlamaCpp 로 Llama2를 구동하고 Llama2 가 부족한 정보를 벡터디비로 보완해서 성능을 최적화 하는 과정을 정리해본다.
ai / ml KcBERT 와 파인튜닝으로 멀티라벨 악플 분류 모델 만들기 지난 포스트에 이어서 "한국어 혐오표현 데이터셋" 을 가지고, 문장이 어떤 종류의 혐오를 담고 있는지 BERT 모델 기반으로 파인튜닝하고 최적화 하는 과정을 학습차원에서 정리 해보고자 한다. GitHub - smilegate-ai/korean_unsmile_datasetContribute to smilegate-ai/korean_unsmile_dataset development by creating an account on GitHub.GitHubsmilegate-ai 1. 모델에 대하여 1) BERT BERT
ai / ml Vector DB로 악플 구분하기 feat. Weaviate Vector DB 기능을 간단히 테스트 하기 위해 혐오표현 문장을 DB 에 삽입하고, 테스트 하고자 하는 문장이 혐오표현에 가까운지 여부를 판단하는 코드를 작성해본다.
ai / ml Vector DB로 ChatGPT 보정하기 (feat. OpenAI) Vector DB를 알아보다가 간단하게 OpenAI 에서 부족한 정보를 Vector DB를 통해 보완하는 과정을 남겨본다. 1. Vector DB에 대한 소개 1) Vector 일반적으로 벡터는 크기와 방향을 가지고 있는 수치를 나타내는 개념으로 다양한 분야에서 중요한 개념으로 사용된다. 2) Vector Embedding Vector Embedding은 단어나 문장 또는 이미지, 동영상등 다양한 형태의 특징 데이터를 추출해서
