토큰 번호는 모델 안에서 어떤 길을 지나갈까? 이전 포스트 HF Transformers -1- 에서 모델은 토큰 번호를 받아 라벨 점수 2개를 내놓았다. 그 사이에서 토크나이저가 문장을 바꿔 놓은 토큰 번호(input_ids) 는 세 구간을 지난다. 아래 그림처럼 임베딩이 토큰 번호(input_ids) 를 768개 숫자로 된 벡터로 바꾸고, Transformer 층

HF, Transformers 의 pipeline 은 어떤 과정을 거칠까? from transformers import pipeline classifier = pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english") classifier(["I loved this movie!", "The plot was boring."]) [{'label': 'POSITIVE', 'score': 0.9998}, {'label': 'NEGATIVE&

SFT 모델로 만든 추천사유 13.5만 건, 기존 서비스 방식보다 4.5배 더 빠르게 이전 포스트에서는 Hugging Face로 만들던 추천사유를 vLLM으로 바꿔 봤다. 같은 모델에 같은 일을 시키고 엔진만 바꿨는데 전체가 2.6배 빨라졌다. 특히 문장을 쓰는 생성 단계에서 차이가 컸는데 짧은 문장이 긴 문장을 기다리는 낭비를 vLLM이 없애 주었기

SFT 모델로 만든 추천사유 13.5만 건, vLLM이었다면 얼마나 빨랐을까 2편에서는 큰 LLM이 쓴 추천사유 1만여 건으로 소형 모델(Gemma 3 4B)을 학습했다. 그리고 호스팅 서버 성능 문제로, 추천사유가 필요한 13.5만 쌍의 설명을 SFT 모델로 미리 만들어 데모페이지를 구성했다. 1. 판단과 생성, 두 단계로 나눈 생성 방식 생성은

SFT 로 추천사유 만들기 지난 포스트에서는 "이 요리에 필요한 재료" 라는 컨셉으로 간단한 추천모델을 만들었다. 이제 추천에 이유를 붙여보자. 된장찌개 재료를 담은 고객에게 대파를 그냥 보여주는 것과, "된장찌개 끓일때 두부에 대파를 넣어 보세요" 라는 한 줄을 붙여 보여주는 것은 다르다. 1편에서도 얘기했지만, 이유가 붙으면 고객은 그

왜 추천사유인가 장을 볼 때 우리는 보통 어떤 방식으로 상품을 고르는지 떠올려봤다. 대부분은 "오늘 저녁은 된장찌개" 처럼 메뉴를 먼저 떠올리고, 필요한 재료를 담은 다음 떨어질 때가 된 우유나 계란을 같이 챙길 것이다. 그런데 대부분의 추천 영역은 이런 맥락이 없이 상품만 나열하곤 한다. 고객입장에서는 왜 이 상품이 나왔는지 알

들어가며 지난 포스트에서는 부산 사투리를 배운 캐릭터 LoRA 와 의료 상담을 배운 LoRA 를 합쳐 보는 실험을 했다. 이번 글에서는 한 걸음 물러서서, LoRA가 실제로 무엇을 학습하는지 정리해 본다. 수식은 최소한으로 쓰고, 곱셈표 하나로 설명해 보려고 한다. 01.모델은 거대한 숫자 표다 언어모델 안에는 글자도 문법 규칙도 없다. 가중치 행렬(

지난 포스트에서는 LoRA 두 개를 합쳐 보는 실험을 했다. 하나는 영화 "범죄와의 전쟁"에서 부산 사투리를 쓰는 인물 최익현의 말투를 배운 LoRA 이고, 다른 하나는 의료 상담 대화를 배운 LoRA 다. 이 둘을 PEFT 라이브러리로 한 모델에 함께 끼워 테스트했다. 아쉽게도 두 LoRA 는 제대로 합쳐지지 않았다. 결합하면

두 개의 LoRA 로 범죄와의 전쟁, 최민식 배우님 캐릭터에 의료 전문성을 더하는 테스트 01.실험의 출발점 하나의 LLM 을 여러 업무에 활용하려면 업무별로 모델을 파인튜닝하는 방법을 생각할 수 있는데 별도의 모델을 하나 하나 배포하고 운영하는게 비효율적일 수 있다. 그래서 vLLM 은 요청별로 하나의 Base 모델에 연결된 서로 다른 Adapter 지정과