Monologue

Monologue

A developer's monologue

LiteLLM Customization
litellm

LiteLLM Customization

LiteLLM 에 대한 이야기를 이어서 써보기로 한다. LiteLLM 이외의 다른 대안을 찾아봤는데 딱히 괜찮아 보이는 오픈소스는 찾기 힘들었다. 심플한데 주요기능이 없거나 또 괜찮다 싶으면 핵심기능이 유료구독인 경우가 많았다. 그에 비해 LiteLLM 은 꽤나 후한편이었고 부족한 부분은 만들면 그만이었다. 다음은 LiteLLM 의 Enterprise 버전에서만 제공하는 기능들이다. 1. 보안 & 접근 제어
12 min read
AWS Bedrock 으로 사내 LLM Gateway(Litellm) 구축하기
litellm

AWS Bedrock 으로 사내 LLM Gateway(Litellm) 구축하기

1.LiteLLm 구축 많은 기업들이 AX 를 하겠다고 발벗고 나선 가운데 정작 어떤 모델을 사내에 공급할지가 아마도 큰 고민이었을 거라 생각한다. 보안이 중요한 곳에서는 로컬 서버에서 공개된 모델을 돌리는 곳도 봤고, 벤처 같은 경우에는 쿨하게 직원들에게 정기구독을 끊어주는 곳도 많이 봤다. 처음 LiteLLM 을 구축할때만 해도 대게 공개 모델들의 성능이
7 min read
Kafka Streams, KTable-KStream Join
java

Kafka Streams, KTable-KStream Join

1. 개요 Stateful 한 처리를 해야 하는 상황에 Kafka 를 활용할 수 있는 방법으로 Kafka Streams 를 사용해보기로 했다. Stateful, Stateless 하다는 표현이 있는데 여기서 Stateless 하다는 것은 다른 데이터 없이 하나의 이벤트나 데이터로 해당 프로세스를 마감 가능하다는 의미이고, 반대로 Stateful 하다는 것은 이전의 여러 상태의 값들을 저장하고 있다가 이벤트나
17 min read
intellij, Code Convention 과 Formatter
java

intellij, Code Convention 과 Formatter

intellij 에서 Code Convention 을 적용하기 위한 설정을 기록한다. Code Convention 은 Naver 캠퍼스 핵데이 Java 코딩 컨벤션을 사용하기로 했다. 캠퍼스 핵데이 Java 코딩 컨벤션 1. Code Style, Formatter 설정 아래 주소의 naver-intellij-formatter.xml 를 다운로드 받아서 Import Scheme 에서 로드 한다. hackday-conventions-java/rule-config/naver-intellij-formatter.xml at master · naver/hackday-conventions-java캠퍼스
3 min read
kafka

Docker Compose 로 Silicon Mac에서 KRaft, Kafka Cluster 구축하기

오랜만에 Kafka 를 볼 일 있어서 Docker Compose 환경으로 Kafka 3.5.1 를 설치하고 기본적인 환경을 테스트 해보고자 한다. 1. Kafka 클러스터 환경 둘러보기 Zookeeper 환경은 오래 되기도 했고 이미지를 새로 받아서 올려야 하는 관계로 KRaft 방식의 클러스터를 구성하기로 했다. 해당 방식의 차이는 브로커의 ID, 호스트, 포트 등의 정보,
6 min read
java

Spring Boot, WebClient 짧은 사용기

SpringBoot WebClient은 Spring 5.0에서 도입된 Reactive HTTP 클라이언트이다. RestTemplate의 대안으로, HTTP 요청을 보내기 위한 간단하고 직관적인 API를 제공하고 있다. 이 기록은 WebFlux 를 학습해가는 입장에서 BFF 를 구현한다는 가정하에 Member, Banner 의 목록을 제공하는 API 를 호출해서 하나의 API 로 묶어 FrontEnd 를 위한 API 를 작성 하는 것을
5 min read
KcBERT 와 파인튜닝으로 멀티라벨 악플 분류 모델 만들기
ai / ml

KcBERT 와 파인튜닝으로 멀티라벨 악플 분류 모델 만들기

지난 포스트에 이어서 "한국어 혐오표현 데이터셋" 을 가지고, 문장이 어떤 종류의 혐오를 담고 있는지 BERT 모델 기반으로 파인튜닝하고 최적화 하는 과정을 학습차원에서 정리 해보고자 한다. GitHub - smilegate-ai/korean_unsmile_datasetContribute to smilegate-ai/korean_unsmile_dataset development by creating an account on GitHub.GitHubsmilegate-ai 1. 모델에 대하여 1)
7 min read