Monologue

Monologue

A developer's monologue

LiteLLM Customization
litellm

LiteLLM Customization

LiteLLM 에 대한 이야기를 이어서 써보기로 한다. LiteLLM 이외의 다른 대안을 찾아봤는데 딱히 괜찮아 보이는 오픈소스는 찾기 힘들었다. 심플한데 주요기능이 없거나 또 괜찮다 싶으면 핵심기능이 유료구독인 경우가 많았다. 그에 비해 LiteLLM 은 꽤나 후한편이었고 부족한 부분은 만들면 그만이었다. 다음은 LiteLLM 의 Enterprise 버전에서만 제공하는 기능들이다. 1. 보안 & 접근 제어
12 min read
AWS Bedrock 으로 사내 LLM Gateway(Litellm) 구축하기
litellm

AWS Bedrock 으로 사내 LLM Gateway(Litellm) 구축하기

1.LiteLLm 구축 많은 기업들이 AX 를 하겠다고 발벗고 나선 가운데 정작 어떤 모델을 사내에 공급할지가 아마도 큰 고민이었을 거라 생각한다. 보안이 중요한 곳에서는 로컬 서버에서 공개된 모델을 돌리는 곳도 봤고, 벤처 같은 경우에는 쿨하게 직원들에게 정기구독을 끊어주는 곳도 많이 봤다. 처음 LiteLLM 을 구축할때만 해도 대게 공개 모델들의 성능이
7 min read
가족

MeowHere 어디냥: 가족의 위치와 스마트폰 사용을 함께 관리하는 가족 안전 앱

아이의 등하교, 학원 도착 여부, 노약자의 외출과 귀가 상태처럼 가족의 현재 상황을 확인해야 하는 순간은 반복됩니다. 하지만 위치만 확인해서는 충분하지 않을 때가 있습니다. 어디에 있는지, 언제 특정 장소에 들어갔는지, 연락이 바로 되지 않는 상황인지, 스마트폰을 과도하게 사용하고 있지는 않은지까지 함께 봐야 보호자가 실제로 판단할 수 있습니다. MeowHere 어디냥은 이러한 상황을
6 min read
Kafka Streams, KTable-KStream Join
java

Kafka Streams, KTable-KStream Join

1. 개요 Stateful 한 처리를 해야 하는 상황에 Kafka 를 활용할 수 있는 방법으로 Kafka Streams 를 사용해보기로 했다. Stateful, Stateless 하다는 표현이 있는데 여기서 Stateless 하다는 것은 다른 데이터 없이 하나의 이벤트나 데이터로 해당 프로세스를 마감 가능하다는 의미이고, 반대로 Stateful 하다는 것은 이전의 여러 상태의 값들을 저장하고 있다가 이벤트나
17 min read
intellij, Code Convention 과 Formatter
java

intellij, Code Convention 과 Formatter

intellij 에서 Code Convention 을 적용하기 위한 설정을 기록한다. Code Convention 은 Naver 캠퍼스 핵데이 Java 코딩 컨벤션을 사용하기로 했다. 캠퍼스 핵데이 Java 코딩 컨벤션 1. Code Style, Formatter 설정 아래 주소의 naver-intellij-formatter.xml 를 다운로드 받아서 Import Scheme 에서 로드 한다. hackday-conventions-java/rule-config/naver-intellij-formatter.xml at master · naver/hackday-conventions-java캠퍼스
3 min read
kafka

Docker Compose 로 Silicon Mac에서 KRaft, Kafka Cluster 구축하기

오랜만에 Kafka 를 볼 일 있어서 Docker Compose 환경으로 Kafka 3.5.1 를 설치하고 기본적인 환경을 테스트 해보고자 한다. 1. Kafka 클러스터 환경 둘러보기 Zookeeper 환경은 오래 되기도 했고 이미지를 새로 받아서 올려야 하는 관계로 KRaft 방식의 클러스터를 구성하기로 했다. 해당 방식의 차이는 브로커의 ID, 호스트, 포트 등의 정보,
6 min read
java

Spring Boot, WebClient 짧은 사용기

SpringBoot WebClient은 Spring 5.0에서 도입된 Reactive HTTP 클라이언트이다. RestTemplate의 대안으로, HTTP 요청을 보내기 위한 간단하고 직관적인 API를 제공하고 있다. 이 기록은 WebFlux 를 학습해가는 입장에서 BFF 를 구현한다는 가정하에 Member, Banner 의 목록을 제공하는 API 를 호출해서 하나의 API 로 묶어 FrontEnd 를 위한 API 를 작성 하는 것을
5 min read