Monologue

Monologue

A developer's monologue

그로서리 추천 시스템에서 소형 LLM SFT 로 추천사유 만들기 -4-
ai / ml

그로서리 추천 시스템에서 소형 LLM SFT 로 추천사유 만들기 -4-

SFT 모델로 만든 추천사유 13.5만 건, 기존 서비스 방식보다 4.5배 더 빠르게 이전 포스트에서는 Hugging Face로 만들던 추천사유를 vLLM으로 바꿔 봤다. 같은 모델에 같은 일을 시키고 엔진만 바꿨는데 전체가 2.6배 빨라졌다. 특히 문장을 쓰는 생성 단계에서 차이가 컸는데 짧은 문장이 긴 문장을 기다리는 낭비를 vLLM이 없애 주었기
14 min read
그로서리 추천 시스템에서 소형 LLM SFT 로 추천사유 만들기 -3-
ai / ml

그로서리 추천 시스템에서 소형 LLM SFT 로 추천사유 만들기 -3-

SFT 모델로 만든 추천사유 13.5만 건, vLLM이었다면 얼마나 빨랐을까 2편에서는 큰 LLM이 쓴 추천사유 1만여 건으로 소형 모델(Gemma 3 4B)을 학습했다. 그리고 호스팅 서버 성능 문제로, 추천사유가 필요한 13.5만 쌍의 설명을 SFT 모델로 미리 만들어 데모페이지를 구성했다. 1. 판단과 생성, 두 단계로 나눈 생성 방식 생성은
15 min read
그로서리 추천 시스템에서 소형 LLM SFT 로 추천사유 만들기 -2-
ai / ml

그로서리 추천 시스템에서 소형 LLM SFT 로 추천사유 만들기 -2-

SFT 로 추천사유 만들기 지난 포스트에서는 "이 요리에 필요한 재료" 라는 컨셉으로 간단한 추천모델을 만들었다. 이제 추천에 이유를 붙여보자. 된장찌개 재료를 담은 고객에게 대파를 그냥 보여주는 것과, "된장찌개 끓일때 두부에 대파를 넣어 보세요" 라는 한 줄을 붙여 보여주는 것은 다르다. 1편에서도 얘기했지만, 이유가 붙으면 고객은 그
27 min read
그로서리 추천 시스템에서 소형 LLM SFT 로 추천사유 만들기 -1-
ai / ml

그로서리 추천 시스템에서 소형 LLM SFT 로 추천사유 만들기 -1-

왜 추천사유인가 장을 볼 때 우리는 보통 어떤 방식으로 상품을 고르는지 떠올려봤다. 대부분은 "오늘 저녁은 된장찌개" 처럼 메뉴를 먼저 떠올리고, 필요한 재료를 담은 다음 떨어질 때가 된 우유나 계란을 같이 챙길 것이다. 그런데 대부분의 추천 영역은 이런 맥락이 없이 상품만 나열하곤 한다. 고객입장에서는 왜 이 상품이 나왔는지 알
27 min read
LoRA 에 대한 이야기 그리고 지난 실험에서 결합이 충돌한 이유
ai / ml

LoRA 에 대한 이야기 그리고 지난 실험에서 결합이 충돌한 이유

들어가며 지난 포스트에서는 부산 사투리를 배운 캐릭터 LoRA 와 의료 상담을 배운 LoRA 를 합쳐 보는 실험을 했다. 이번 글에서는 한 걸음 물러서서, LoRA가 실제로 무엇을 학습하는지 정리해 본다. 수식은 최소한으로 쓰고, 곱셈표 하나로 설명해 보려고 한다. 01.모델은 거대한 숫자 표다 언어모델 안에는 글자도 문법 규칙도 없다. 가중치 행렬(
9 min read
Gemma 3 LoRA Adapter Composition 실험 - 1
ai / ml

Gemma 3 LoRA Adapter Composition 실험 - 1

두 개의 LoRA 로 범죄와의 전쟁, 최민식 배우님 캐릭터에 의료 전문성을 더하는 테스트 01.실험의 출발점 하나의 LLM 을 여러 업무에 활용하려면 업무별로 모델을 파인튜닝하는 방법을 생각할 수 있는데 별도의 모델을 하나 하나 배포하고 운영하는게 비효율적일 수 있다. 그래서 vLLM 은 요청별로 하나의 Base 모델에 연결된 서로 다른 Adapter 지정과
22 min read
AI 에이전트 하네스 (Pi Coding Agent) 뜯어보기

AI 에이전트 하네스 (Pi Coding Agent) 뜯어보기

1.개요 하네스, 루프 엔지니어링. 요즘 많이들 듣는 말이기도 하고 또 사용하기도 많이 사용 하는 도구들이다. 나도 좋다고하는 이런 저런 툴들을 사용하고 있기는 한데 내가 토큰을 24시간 돌릴 일도 없고 그저 취미삼아 만드는 앱을 만드는데 주로 쓰고 있는데, 사용 성향이나 패턴으로 볼때 좀 과하다 싶은 부분들이 있다. 가벼운 수정에 지나지
14 min read
LiteLLM Customization
litellm

LiteLLM Customization

LiteLLM 에 대한 이야기를 이어서 써보기로 한다. LiteLLM 이외의 다른 대안을 찾아봤는데 딱히 괜찮아 보이는 오픈소스는 찾기 힘들었다. 심플한데 주요기능이 없거나 또 괜찮다 싶으면 핵심기능이 유료구독인 경우가 많았다. 그에 비해 LiteLLM 은 꽤나 후한편이었고 부족한 부분은 만들면 그만이었다. 다음은 LiteLLM 의 Enterprise 버전에서만 제공하는 기능들이다. 1. 보안 & 접근 제어
12 min read
AWS Bedrock 으로 사내 LLM Gateway(Litellm) 구축하기
litellm

AWS Bedrock 으로 사내 LLM Gateway(Litellm) 구축하기

1.LiteLLm 구축 많은 기업들이 AX 를 하겠다고 발벗고 나선 가운데 정작 어떤 모델을 사내에 공급할지가 아마도 큰 고민이었을 거라 생각한다. 보안이 중요한 곳에서는 로컬 서버에서 공개된 모델을 돌리는 곳도 봤고, 벤처 같은 경우에는 쿨하게 직원들에게 정기구독을 끊어주는 곳도 많이 봤다. 처음 LiteLLM 을 구축할때만 해도 대게 공개 모델들의 성능이
7 min read
Kafka Streams, KTable-KStream Join
java

Kafka Streams, KTable-KStream Join

1. 개요 Stateful 한 처리를 해야 하는 상황에 Kafka 를 활용할 수 있는 방법으로 Kafka Streams 를 사용해보기로 했다. Stateful, Stateless 하다는 표현이 있는데 여기서 Stateless 하다는 것은 다른 데이터 없이 하나의 이벤트나 데이터로 해당 프로세스를 마감 가능하다는 의미이고, 반대로 Stateful 하다는 것은 이전의 여러 상태의 값들을 저장하고 있다가 이벤트나
17 min read
intellij, Code Convention 과 Formatter
java

intellij, Code Convention 과 Formatter

intellij 에서 Code Convention 을 적용하기 위한 설정을 기록한다. Code Convention 은 Naver 캠퍼스 핵데이 Java 코딩 컨벤션을 사용하기로 했다. 캠퍼스 핵데이 Java 코딩 컨벤션 1. Code Style, Formatter 설정 아래 주소의 naver-intellij-formatter.xml 를 다운로드 받아서 Import Scheme 에서 로드 한다. hackday-conventions-java/rule-config/naver-intellij-formatter.xml at master · naver/hackday-conventions-java캠퍼스
3 min read