Gemma 3 LoRA Adapter Composition 실험 - 2
지난 포스트에서는 LoRA 두 개를 합쳐 보는 실험을 했다. 하나는 영화 "범죄와의 전쟁"에서 부산 사투리를 쓰는 인물 최익현의 말투를 배운 LoRA 이고, 다른 하나는 의료 상담 대화를 배운 LoRA 다. 이 둘을 PEFT 라이브러리로 한 모델에 함께 끼워 테스트했다.
아쉽게도 두 LoRA 는 제대로 합쳐지지 않았다. 결합하면 오히려 답변이 짧아지고, 캐릭터의 말투와 의료상담의 특성이 모두 약해졌다.
지난 포스트에서는 두 LoRA 를 1:1 로 결합했을 때 "부산 사투리 + 문진 질문 목록 + 위험 신호 안내"처럼 두 특성이 함께 나오기를 기대했지만, 결과는 그렇지 못했다. 그래서 이번에는 먼저 각 LoRA 가 혼자서 제대로 답하는지부터 점검해 학습 데이터와 학습 설정을 고치고, 그다음 두 LoRA 를 다시 결합해 보기로 한다.
먼저 알아 두면 좋은 말
- LoRA: 거대한 언어 모델 전체를 다시 학습하지 않고, 작은 추가 부품만 학습해서 모델의 말투나 지식을 바꾸는 방법이다. 이 부품을 Adapter 라고도 부른다.
- 결합: LoRA 두 개를 한 모델에 동시에 끼우는 것이다. "1.0 : 1.0"은 두 LoRA 를 같은 세기로 끼웠다는 뜻이다.
- 문진: 의사가 진단하기 전에 환자에게 증상을 묻는 것이다.
- 위험 신호 안내: "이런 증상이 있으면 바로 병원에 가라"는 안내다.
- 토큰: 모델이 글을 만드는 단위다. 대략 글자 조각 하나라고 생각하면 된다.
진행 순서는 다음과 같다.
- 캐릭터 LoRA 학습 데이터 1차 개선
- 캐릭터 LoRA 학습 데이터 2차 개선
- 학습 하이퍼파라미터 개선
- 의료 LoRA 학습 데이터 1차 개선
- 결합이 실패하는 원인 분석
- 캐릭터 LoRA 학습 데이터 3차 개선
- 처음 보는 질문으로 검증하기
- 캐릭터 LoRA 학습 데이터 4차 개선
- 의료 LoRA 학습 데이터 2차 개선
- 캐릭터 LoRA 5차 개선: 의료 LoRA 위에서 학습하기
- 결론
- 다음 과제: 일상 대화와 라우팅
01. 캐릭터 LoRA 학습 데이터 1차 개선
모델 테스트 결과를 보면, 먼저 시나리오에서 뽑아낸 최익현이라는 캐릭터의 특성이나 특유의 부산 사투리가 잘 나타나지 않았다. 이 부분부터 고쳐 보기로 했다.
1) 데이터를 어떻게 바꿨나
이전 학습 데이터가 영화 시나리오 대사로만 만들다 보니 대사 자체가 부족했고, 내가 기억하는 최익현의 과장된 모습을 학습하기에도 부족했다고 판단했다. 그래서 표현을 조금 과장한 학습 데이터를 만들어 다시 학습시켰다. 다음은 그 테스트 결과다.
개선 후 질문 테스트)
며칠째 기침이 계속되고 밤에 더 심해집니다. 열은 없는데 어떤 점을 확인해야 하나요?
| 구성 | 응답 |
|---|---|
| Base | 며칠째 기침이 계속되고 밤에 더 심해지는 증상은 다양한 원인으로 발생할 수 있습니다......(생략) |
| 캐릭터 LoRA 단독 | 며칠째 계속되면 감기인지 다른 원인이 있는지 확인해 봐야제. 증상이 심해지면 진료를 받아야제. |
| 의료 LoRA 단독 | 기침이 계속되고 밤에 더 심해진다면, 감기나 인플루엔자 같은 바이러스 감염일 수 있습니다. 그러나 다른 원인도 있을 수 있으므로, 의사의 진단을 받아보는 것이 좋습니다. |
| 결합(cat) 1.0 : 1.0 | 기침이 계속되면 감기나 바이러스 감염일 수 있제. 24시간 동안 증상이 심해지면 응급실을 찾아야 한다. |
| 결합(cat) 1.5 : 0.2 | 마, 며칠째면 감기인지 오래서야 알제. 고르게 쉬지 말아야제. 증상이 심하면 진료를 받아 보라 카이. |
| 결합(cat) 1.5 : 1.5 | 밤에 심해지면 감기인지는 알겠제. 증상이 계속되면 진료를 받아야 안 되겠나? |
2) 1차 개선 결과와 남은 문제
캐릭터의 표현을 강조한 학습 데이터로 다시 학습하니 부산 사투리 말투가 이전보다 뚜렷해졌다. 하지만 테스트 결과를 자세히 보면 아직 해결해야 할 문제가 많았다.
- 사투리가 단조롭다.
- 거의 모든 문장이 "~해야제"로 끝난다. 과장된 최익현이라기보다는 표준어에 어미만 바꾼 느낌에 가깝다.
- 결합하면 답변이 한두 문장으로 짧아진다.
- 문진 질문은 하나도 나오지 않는다.
- 의료 LoRA 단독도 약하다.
- 질문을 하지 않고 "의사의 진단을 받아보라"로 끝난다. 결합 이전에 의료 LoRA 자체도 개선이 필요해 보였다.
- 가중치를 키워도 해결되지 않는다.
- 1.5 : 1.5 로 올려도 답변은 여전히 짧다.
결국 표현을 과장하는 것만으로는 부족했고, 학습 데이터를 한 번 더 들여다보기로 했다.
02. 캐릭터 LoRA 학습 데이터 2차 개선
1차 개선 결과를 보고 학습 데이터를 문장 단위로 하나하나 세어 봤다. 생각보다 문제가 컸다.
1) 데이터를 다시 들여다보니
- 같은 문장이 수백 번 반복되고 있었다.
- "확인되지 않은 사실을 만들어 붙이지 않는 게 중요하다" 같은 내용 없는 문장이 최대 280 번 넘게 반복됐고, 이런 반복 문장이 전체 답변 문장의 절반 가까이를 차지했다. 결합했을 때 나왔던 의미 없는 답변도 결국 이 문장들을 외운 결과였다.
- 사투리가 생각보다 옅었다.
- "해 봐라", "하자" 같은 표준어 반말은 빼고 진짜 사투리 어미로 끝나는 문장만 세어 보니 원본은 20% 남짓, 1차 개선 데이터도 절반이 채 안 됐다. 그마저도 "보래이", "아이가" 같은 몇 개 어미만 기계적으로 반복되고 있었다.
2) 어떻게 바꿨나
- 반복되던 문장은 지우거나 캐릭터성이 있는 여러 문장 ("마, 내 말 함 들어 봐라." 같은) 으로 골고루 바꿨다.
- 문장 끝을 형태별로 나눠 "-데이", "-는 기라", "-아이가", "-래이", "-제" 같은 어미를 골고루 섞었고, "단디", "억수로", "우째", "그라믄" 같은 어휘도 바꿨다.
- 의문문은 경상도 문법대로 의문사가 있으면 "-노/-고", 없으면 "-나/-가"로 맞췄다. (예: "색깔은 우떻노?", "가래가 나오나?")
- 학습이 잘 됐는지 채점할 때 쓰는 데이터(검증용 데이터)도 같은 사투리로 바꿨다. 그래야 채점 점수로 "사투리를 얼마나 잘 배웠는가"를 제대로 알 수 있다.
| 지표 | 원본 | 1차 개선 | 2차 개선 |
|---|---|---|---|
| 사투리 어미로 끝나는 문장 비율 | 20% 남짓 | 45% 정도 | 75% 정도 |
| 사투리 어휘가 들어간 답변 비율 | 35% 정도 | 35% 정도 | 70% 정도 |
| 한 문장이 가장 많이 반복된 횟수 | 280 번 넘게 | 260 번 정도 | 50 번 |
| 서로 다른 문장 수 | 1,400 개 남짓 | 1,700 개 남짓 | 2,200 개 남짓 |
LoRA 는 배운 데이터보다 과장해서 말하지 않는다. 데이터가 "살짝 사투리"면 모델도 "살짝 사투리"이고 같은 문장을 수백 번 보여 주면 그 문장만 따라 한다.
03. 학습 하이퍼파라미터 개선
데이터만의 문제는 아니었다. 2차 재학습에서는 데이터와 함께 학습 설정도 바꿨다. 학습 설정을 보니 학습이 제대로 되기 어려운 조건이 겹쳐 있었다. 하이퍼파라미터는 학습을 시작하기 전에 사람이 정해 주는 설정값이다.
| 파라미터 | 이전 | 이후 | 이유 |
|---|---|---|---|
| 학습률(LR) | 3e-5 | 1.5e-4 (의료 1e-4) | 3e-5 는 모델 전체를 학습할 때 쓰는 작은 보폭이다. LoRA 는 고치는 부분이 작아서 보폭을 키워야 한다. |
| LoRA r | 8 | 16 | LoRA 가 모델을 고칠 수 있는 폭이다(아래 참고). 여유를 두고, 결합할 의료 LoRA 와 조건을 같게 맞추기 위해 16 으로 늘렸다. |
| LoRA alpha (배율) | 8 (배율 1.0) | 32 (배율 2.0) | 배운 내용이 출력에 반영되는 세기다. 너무 작으면 학습해도 티가 안 난다. |
| max_grad_norm | 0.3 | 1.0 | 한 번에 고칠 수 있는 양의 최대치다. 0.3 은 너무 작아서, 가뜩이나 작은 보폭을 한 번 더 줄이고 있었다. |
| Epoch | 1 | 최대 2 + Early Stopping | 충분히 학습하되, 외우기 시작하면 멈추고 가장 좋았던 시점으로 되돌린다. |
참고: r(rank) 이 뜻하는 것
LoRA 는 원래 모델의 큰 가중치 행렬 W 를 직접 바꾸지 않는다. 대신 작은 행렬 두 개(A, B)를 곱한 변화량 ΔW 를 더한다.
W' = W + ΔW, ΔW = B × A여기서 r 은 두 작은 행렬 A, B 의 크기를 정하는 숫자다. r 이 클수록 원래 모델을 더 여러 방향으로 고칠 수 있다.
- r=8: LoRA 를 붙인 가중치 행렬마다 최대 8 가지 방향으로만 모델을 고칠 수 있다.
- r=16: 최대 16 가지 방향으로 고칠 수 있다.
비유하면 원래 모델이라는 그림에 덧칠할 때 쓸 수 있는 물감의 색 수다. 색이 많을수록 더 다양한 변화를 표현할 수 있다. 다만 말투 같은 변화는 r=8 로도 충분한 경우가 많고, 이번에는 학습률, 배율, 제한, 학습 시간을 함께 바꿨기 때문에 r 을 늘린 효과만 따로 확인하지는 않았다.
결국 작은 보폭, 작은 배율, 강한 제한, 짧은 학습이라는 네 겹의 브레이크를 밟고 있었던 셈이다. 이걸 풀고 나서야 학습 효과가 눈에 보이기 시작했다.
재미있는 점도 있었다. 학습을 500 번(step) 돌리도록 했는데, 200 번째에서 이미 채점 점수가 가장 좋았고 그 뒤로는 오히려 나빠졌다. 데이터가 단조로워서 금방 외워 버렸다는 뜻이다. 이건 설정을 바꿔서는 해결할 수 없는 데이터의 한계다.
참고로 2차 개선부터는 평가 설정도 두 가지 바꿨다. 첫째, 같은 말을 반복하지 못하게 막는 기능(repetition_penalty)을 껐다. 이 기능이 "-데이" 같은 사투리 어미나 "1. 2. 3." 같은 목록 번호까지 막았기 때문이다. 둘째, 답변이 중간에 잘리지 않도록 최대 길이를 320 토큰으로 늘렸다. 그래서 01 의 결과와 그 뒤의 결과는 평가 조건이 조금 다르다.
2차 개선 후 질문 테스트)
며칠째 기침이 계속되고 밤에 더 심해집니다. 열은 없는데 어떤 점을 확인해야 하나요?
| 구성 | 응답 |
|---|---|
| 1차 캐릭터 LoRA 단독 | 며칠째 계속되면 감기인지 다른 원인이 있는지 확인해 봐야제. 증상이 심해지면 진료를 받아야제. |
| 2차 캐릭터 LoRA 단독 | 기침이 며칠째고 밤에 더 심하믄 무조건 대충 넘길 일이 아이다. 열은 없는데도 사람마다 증상이 다르제. 상태가 우째 바뀌는지부터 살펴보고, 이상한 기 나오믄 의료진과 상의해 봐래이. |
1차에서는 거의 모든 문장이 "~해야제"로 끝났는데, 2차에서는 "~아이다", "~제", "~봐래이" 같은 어미와 "우째", "이상한 기" 같은 어휘가 섞이면서 말투가 훨씬 다양해졌다. 캐릭터 LoRA 단독으로는 확실히 나아졌기 때문에, 다음으로 의료 LoRA 를 손본 뒤 다시 결합해 보기로 했다.
04. 의료 LoRA 학습 데이터 1차 개선
01 의 테스트에서 의료 LoRA 단독도 질문 없이 "의사의 진단을 받아보라"로 끝나는 것을 확인했다. 그래서 의료 데이터도 다시 들여다봤다.
사용한 데이터(squarelike/ko_medical_chat, 3,000 개 남짓한 대화) 는 영어 의료 상담 데이터를 GPT 로 한국어 대화로 바꾼 것이라 옮기면서 생긴 어색한 번역 흔적이 꽤 남아 있었다.
| 문제 | 실측 | 처리 |
|---|---|---|
| 의사 답변이 중간에 잘려 두 턴으로 나뉨 ("…진료도 도" + "도움이 될…") | 600 개 가까운 대화 (약 20%) | 기존 코드는 이런 대화를 통째로 버리고 있었다. 이어 붙여서 살렸다. |
| 구체적인 약 용량 처방 ("○○ 120 mg 를 매일 한 번씩 복용") | 의사 답변의 1~2% 정도 | 해당 문장만 "용량은 진료 후 의사나 약사와 상의"로 바꿨다. |
| "Chat Doctor 에 오신 것을 환영합니다" 같은 원본 흔적 | 의사 답변의 3% 가까이 | 문장을 제거했다. |
| "끊긴 부분부터 계속 작성하라" 같은 GPT 지시문 | 30 문장 정도 | 문장을 제거했다. |
| 질문 목록 형태의 문진 | 거의 없음 | 증상 42 종으로 목록형 문진을 650 개 남짓 만들어 추가했다. |
마지막 항목이 특히 중요했다. 원본은 "한 번에 질문 하나" 구조라서, 의료 LoRA 가 질문 목록을 만들지 못했던 것도 당연했다. 정리 후 학습 샘플은 9,700 개 정도에서 1만 3천 개 가까이로 늘었고, 하이퍼파라미터도 캐릭터 LoRA 와 같은 r=16 / alpha=32 로 맞췄다.
개선 후 질문 테스트)
며칠째 기침이 계속되고 밤에 더 심해집니다. 열은 없는데 어떤 점을 확인해야 하나요?
| 구성 | 응답 |
|---|---|
| 개선 전 의료 LoRA | 기침이 계속되고 밤에 더 심해진다면, 감기나 인플루엔자 같은 바이러스 감염일 수 있습니다. 그러나 다른 원인도 있을 수 있으므로, 의사의 진단을 받아보는 것이 좋습니다. |
| 개선 후 의료 LoRA | 증상의 원인을 좁히기 위해 다음을 확인하겠습니다. 1. 기침은 언제부터 있었나요? 2. 가래가 나오나요? 나온다면 색깔은 어떤가요? 3. 최근 감기에 걸렸거나 주변에 기침하는 사람이 있었나요? 4. 최근 새로 먹기 시작한 약이 있나요? 이 내용을 알려 주시면 다음 단계를 함께 정하겠습니다. 숨이 몹시 차거나 피가 섞인 가래, 가슴 통증이 나타나면 기다리지 말고 즉시 진료를 받으세요. |
의료 LoRA 단독으로 질문 목록과 위험 신호 안내까지 하게 됐다.
05. 결합이 실패하는 원인 분석
두 LoRA 를 각각 개선했으니 이번엔 결합이 잘 될 거라 기대했다. 결과는 그렇지 않았다.
| 구성 (1.0 : 1.0) | 응답 |
|---|---|
| 캐릭터 2차 개선 + 의료 개선 | 기침이 오래가믄 바이러스나 알레르기성 원인도 있을 수 있제. 가만 있어 봐라, 내가 하나씩 풀어 주께. |
"하나씩 풀어 주께"라고 약속하고는 그대로 끝나 버렸다. 질문 목록도, 위험 신호 안내도 없다.
1) 두 LoRA 의 크기와 방향을 재 봤다
두 LoRA 가 원래 모델을 얼마나 세게, 그리고 어느 쪽으로 바꾸는지 재 봤다.
원래 모델을 지도 위의 한 점이라고 생각하면, LoRA 는 그 점을 어딘가로 미는 화살표다. 화살표의 길이는 얼마나 세게 미는지(크기), 화살표가 가리키는 쪽은 어디로 미는지(방향)다. 두 LoRA 를 합친다는 건 이 화살표 두 개를 이어 붙이는 것과 같다.
- 같은 쪽을 가리키면 더 멀리 간다. 서로를 키워 준다.
- 반대쪽을 가리키면 제자리로 돌아온다. 서로를 지운다.
- 직각이면 각자 밀고 싶은 만큼 그대로 간다. 서로 방해하지 않는다.
| 궁금했던 것 | 측정 결과 | 뜻 |
|---|---|---|
| 누가 더 세게 미나? | 캐릭터 화살표의 길이가 의료의 절반 정도 | 캐릭터 LoRA 가 훨씬 약하게 민다 |
| 같은 쪽을 가리키나? | 거의 직각 (cos 평균 0.02) | 두 LoRA 는 서로 상관없는 쪽으로 민다 |
| 서로 지우는 곳이 있나? | 반대쪽을 가리키는 곳은 5% 뿐 | 서로 지우는 일은 거의 없다 |
측정 방법
LoRA 가 붙은 200 개 남짓한 가중치 행렬마다 두 LoRA 가 더하는 변화량을 계산해서 길이와 각도를 비교했다. 각도는 cos 으로 쟀는데, 1 이면 같은 방향, 0 이면 직각, -1 이면 반대 방향이다.
크기는 절반이고 서로 방해하지도 않는데, 결과는 캐릭터 LoRA 가 완전히 장악했다. 원인은 응답 형식에 있었다.
캐릭터 LoRA 는 "한마디 하고 짧게 끝내기"를, 의료 LoRA 는 "질문 목록을 차근차근 나열하기"를 배웠다. 합치면 캐릭터 LoRA 가 답변을 어떻게 시작하고 언제 끝낼지를 정해 버린다. 그래서 의료 LoRA 의 질문 목록은 시작도 못 하고 끝난다.
2) 가중치를 바꿔 봤다
| 캐릭터 : 의료 | 결과 |
|---|---|
| 1.0 : 1.0 / 1.0 : 1.2 | 캐릭터가 장악. 짧은 사투리 두 문장 |
| 0.9 : 1.2 / 0.85 : 1.2 | 위험 신호 한 문장만 말하고 끝 (표준어) |
| 0.8 : 1.0 | 둘 다 사라짐. 표준어 한 문장 |
| 0.8 : 1.3 | 질문 목록 + 위험 신호. 사투리는 "-믄" 정도만 남음 |
| 0.6 : 1.0 / 0.6 : 1.3 | 의료가 장악. 의료 LoRA 단독과 거의 같음 |
가중치를 조금씩 바꾸면 결과도 조금씩 섞일 줄 알았는데, 실제로는 어느 순간 한쪽으로 확 넘어갔다. 마치 스위치 같았다. 사투리와 질문 목록이 함께 나오는 구간은 아주 좁았고, 그마저도 질문이 바뀌면 흔들렸다. 가중치 조절로는 해결이 안 된다는 결론을 내렸다.
06. 캐릭터 LoRA 학습 데이터 3차 개선
원인이 형식 싸움이라면, 캐릭터 LoRA 에게도 의료 질문에 답하는 형식을 가르치면 된다.
캐릭터 학습 데이터에 의료 LoRA 와 같은 구조 (도입 → 질문 목록 → 위험 신호 안내)의 사투리 문진 660 개 정도를 추가했다.
처음에는 기존 존댓말 답변을 사투리로 변환해 봤는데 "말씀하신 … 기라" 처럼 높임말과 사투리가 뒤섞여서, 처음부터 사투리로 만들었다.
추가한 데이터는 다음과 같은 형태다.
Q. 일어날 때 핑 도는 느낌이 들어요. 문진하듯이 필요한 질문을 해 주세요.
가만 보자, 원인을 좁힐라믄 이거부터 알아야 된데이.
1. 어지러움은 언제부터 시작됐노?
2. 메스꺼움이나 구토가 있나?
3. 주변이 빙빙 도는 느낌이가, 아니믄 쓰러질 것 같은 느낌이가?
4. 실제로 쓰러지거나 넘어진 적이 있나?
5. 지금 묵는 약이 있나?
이거 듣고 나서 우째 할지 같이 정하자.
근데 의식을 잃음, 말이 어눌해짐, 한쪽 팔다리 마비, 심한 두통이 있으믄 그때는 참지 말고 바로 병원 가래이.위 (05. 결합이 실패하는 원인 분석) 에서 봤던 "내가 하나씩 풀어 주께"처럼 약속만 하고 끝나는 답변도 학습 데이터에 90 개 가까이 있어서 함께 정리했다. 의료 문진 데이터는 캐릭터 학습 데이터 전체의 15% 정도로 맞췄다.
개선 후 질문 테스트)
(가중치 1.0 : 1.0)
며칠째 기침이 계속되고 밤에 더 심해집니다. 열은 없는데 어떤 점을 확인해야 하나요?
| 구성 | 응답 |
|---|---|
| 이전 캐릭터 + 의료 | 기침이 오래가믄 바이러스나 알레르기성 원인도 있을 수 있제. 가만 있어 봐라, 내가 하나씩 풀어 주께. |
| 형식을 맞춘 캐릭터 + 의료 | 말씀하신 것만으로 원인을 단정할 수는 없습니다. 먼저 이거를 확인해 보겠습니다. 1. 기침은 언제부터 있었노? 2. 숨이 차거나 누우믄 답답한가? 3. 가래가 나오나? 나온다믄 색깔은 우떻게 됐노? 4. 같은 계절에도 퍼지거나 반복되는 편이? 5. 최근 새로 먹기 시작한 약이 있나? 이거 알려 주믄 다음 단계를 같이 보자. 다만 숨이 몹시 차거나 피가 섞인 가래, 가슴 통증이 있으믄 기다리지 말고 바로 병원이나 응급실 가래이. |
기본 비율 1.0 : 1.0 에서 처음으로 사투리, 질문 목록, 위험 신호 안내가 함께 나왔다. 첫 문장이 존댓말이고 4 번 질문이 어색한 것처럼 다듬어지지 않은 부분은 있지만, 같은 질문과 같은 비율에서 결과가 확연히 달라졌다.
두 LoRA 가 서로 빈 곳을 채워 주기도 했다. "두통이 있어요. 확인할 질문을 6개 알려주세요."라고 물었을 때, 캐릭터 LoRA 와 의료 LoRA 는 각각 단독으로는 약 질문을 반복해서 6 개를 겨우 채웠다. 그런데 결합하면 시작 시점, 동반 증상, 일상생활 지장, 통증 느낌, 시간대, 복용 약까지 서로 다른 질문 6 개가 나왔다.
07. 처음 보는 질문으로 검증하기
여기서 끝내도 되나 싶었는데, 한 가지가 걸렸다. 캐릭터 LoRA 에 넣은 사투리 문진과 의료 LoRA 에 넣은 목록형 문진은 같은 증상 42 종으로 만들었다. 그러니 기침처럼 이미 배운 증상에서 잘 나온 결과는 결합이 잘 된 것인지, 둘이 같은 내용을 외운 것인지 구분할 수 없다.
그래서 "두 LoRA 가 배우지 않은 증상"으로 다시 확인해 봤다.
개선 후 질문 테스트)
뜨거운 물에 손등을 데었는데 물집이 생겼어요. 어떤 점을 확인해야 하나요?
| 구성 | 질문 목록 | 판단 |
|---|---|---|
| 의료 LoRA 단독 | 물집은 언제 생겼나요? / 물집이 터졌나요? / 주변이 붓거나 붉게 변했나요? / 이전에 화상을 입은 적이 있나요? | 화상에 맞음 |
| 캐릭터 LoRA 단독 | 손등이 얼마나 데긴 느낌이? / 피부가 얇아지거나 변색된 부분이 있나? / 비슷한 증상을 전에도 겪은 적이 있나? | 대체로 맞음 |
| 결합 1.0 : 1.0 | 손가락 모양이 변했나? / 같은 손가락이 반복적으로 붓고 낫다 사라지나? / 같은 손가락을 자주 접질리나? | 화상과 무관 |
| 결합 0.6 : 1.0 | 손가락이 저리거나 감각이 이상한가요? / 물집이 터졌거나 붓고 붉어진가요? / … | 사투리는 사라지고 손가락 질문은 남음 |
각자 따로 쓰면 화상에 맞게 답하는데, 합쳤을 때만 손가락 관절을 묻는 엉뚱한 질문이 나왔다. 학습한 42 개 증상 중 손목, 발목 항목에 있던 질문을 "손가락"으로 바꿔 쓴 것이다. "손등"이라는 단어를 단서로 가장 가까운 증상의 내용을 꺼내 온 것으로 보인다. 신체 부위 단어가 없는 딸꾹질 질문에서는 이런 일이 없었다.
[결합 1.0 : 1.0]
말씀하신 내용만으로 원인을 단정할 수는 없습니다. 먼저 이거를 확인해 보자.
1. 손가락 모양이 변했나?
2. 같은 손가락이 반복적으로 붓고 낫다 사라지나?
3. 새로 생긴 증상인가, 오래된 건지?
4. 같은 손가락을 자주 접질리나?
5. 요새 새로 먹기 시작한 약이 있나?
이 내용을 알려 주믄 다음 단계를 같이 보자. 10분 넘게 누우믄 손가락 모양이 붓고 변하는 경우가 보이믄 기다리지 말고 퍼뜩진료 받아래이.마지막 위험 신호 문장도 "10분 넘게 누우믄 손가락 모양이…"처럼 깨져 있다.
두 LoRA 의 방향도 다시 재 봤다.
| 지표 | 형식을 맞추기 전 | 형식을 맞춘 후 |
|---|---|---|
| 방향 유사도 (cos 평균) | 0.02 정도 | 0.05 정도 |
| 서로 반대 방향인 행렬 비율 | 5% | 0% |
같은 증상 데이터를 함께 배운 뒤로 두 LoRA 가 모든 행렬에서 조금씩 같은 쪽을 향하게 됐다.
다만 이 숫자는 아주 작아서 이것만으로 결론을 내릴 수는 없다. 그래서 가중치를 0.6 : 1.0 으로 낮춘 결과와 함께 살펴봤다.
캐릭터 LoRA 에만 있는 사투리는 가중치를 낮추자 바로 사라졌는데, 두 LoRA 가 똑같이 배운 손목, 발목 질문은 가중치를 낮춰도 남았다. 그것도 "같은 발목을 자주 접질리나요?"가 "같은 손가락을 자주 접질리나?"로 바뀌는 식으로, 질문 속 "손등"에 맞춰 신체 부위만 바꿔 가며 나왔다.
이 해석이 맞는지 확인하려고 데이터를 한 번 더 바꿔 봤다.
08. 캐릭터 LoRA 학습 데이터 4차 개선
07 의 해석이 맞다면, 두 LoRA 가 같은 내용을 배우지 않게 하면 엉뚱한 질문이 사라져야 한다. 그래서 캐릭터 LoRA 의 의료 문진을 의료 LoRA 와 겹치지 않는 증상으로 다시 만들어 재학습해 봤다.
1) 무엇을 바꿨나
| 항목 | 3차 | 4차 |
|---|---|---|
| 증상 목록 | 의료 LoRA 와 같은 42 종 | 겹치지 않는 42 종 (탈모, 생리통, 다래끼, 코골이 등) |
| 질문 문장 | 의료 LoRA 와 같은 질문 (말투만 사투리) | 같은 문장 0 개 |
| 위험 신호 안내 | 여러 표현이 섞임 | "미루지 말고 바로 병원이나 응급실 가래이" 하나로 통일 |
| 답변 형식과 비중 | 도입 → 질문 목록 → 위험 신호, 전체의 15% | 같음 |
| 학습 설정 | r=16 / alpha=32, LR 1.5e-4 | 같음 |
형식과 비중, 학습 설정을 모두 3차와 같게 맞춰서, 결과가 달라진다면 "내용을 나눈 것" 때문이라고 볼 수 있게 했다.
2) 평가 질문을 먼저 고정했다
결과를 보고 유리한 질문을 고르지 않도록 평가 질문 17 개를 먼저 정했고, 이 질문들은 학습 데이터에서 모두 뺐다.
- A. 의료 LoRA 만 배운 증상 4 개
: 기침, 두통, 어지럼증 - B. 두 LoRA 모두 배우지 않은 증상 10 개
: 화상, 발뒤꿈치, 딸꾹질, 통풍, 이명, 대상포진, 벌 쏘임, 손톱 주변 등 - C. 일상 질문 3 개 (결과를 다루지 않았다)
같은 세션에서 3차와 4차 캐릭터 LoRA 를 번갈아 끼워 가며, 의료 LoRA 와 1.0 : 1.0 으로 결합한 결과를 A, B 의 의료 질문 14 개로 비교했다.
3) 결과: 엉뚱한 질문은 줄었지만, 질문 목록이 빠지기 시작했다
4차 개선 후 질문 테스트)
뜨거운 물에 손등을 데었는데 물집이 생겼어요. 어떤 점을 확인해야 하나요?
| 구성 (1.0 : 1.0) | 응답 |
|---|---|
| 3차 캐릭터 + 의료 | 1. 손가락 모양이 변했나? 2. 같은 손가락이 반복적으로 붓고 낫다 사라지나? … (화상과 무관) |
| 4차 캐릭터 + 의료 | 1. 손등 물집은 처음 시작된 기 언제고? 2. 물집이 커지거나 아프나? … (화상에 맞음) |
질문 목록이 제대로 나온 경우에는 질문이 증상에 더 맞게 확실히 바뀌었다.
벌에 쏘였다는 질문에 3차는 "발진이 퍼지고 있나?"처럼 다른 증상의 질문을 했는데, 4차는 숨이 차거나 쌕쌕거리는지를 물었다. 손톱 주변이 붓는다는 질문에서도 붓기가 커지거나 퍼지는지를 물었다.
3차에서는 두 LoRA 가 같은 증상 목록을 배웠다. 그래서 처음 보는 증상이 들어오면 둘이 함께 같은 "비슷한 증상"의 질문을 떠올렸다. 4차에서는 캐릭터 LoRA 가 다른 증상으로 배웠다. 그래서 캐릭터 LoRA 는 말투와 형식만 보태고, 어떤 질문을 할지는 의료 LoRA 에 더 맡기게 된 것으로 보인다.
다만 템플릿(학습 때 외운 정해진 질문 문장)이 사라진 것은 아니다. "숨이 차거나 쌕쌕거리나?"도 의료 LoRA 가 배운 질문이다. 템플릿을 고르는 기준이 겉에 보이는 단어에서 증상의 의미 쪽으로 옮겨 간 것에 가깝다.
3차가 엉뚱한 질문을 한 원인도 확인했다. 같은 화상 상황에서 신체 부위 단어 하나만 바꿔서 물어봤다.
- "화상을 입어서 물집이 생겼어요" → 3차 결합 모델도, 의료 LoRA 단독도 화상 질문을 했다.
- "뜨거운 물에 배를 데었는데 물집이 생겼어요" → 3차 결합 모델은 변비나 설사를 묻는 복통 질문을 했고, 의료 LoRA 단독도 "배가 아프거나 부어있나요?"라고 물었다.
상황은 같은데 "배"라는 단어 하나에 답이 바뀌었다. 두 LoRA 가 배운 증상 목록에 "복통" 항목이 있어서, "배"가 나오면 복통 질문을 하도록 학습된 것이다. 손등 화상에 손가락 질문을 한 것도 같은 이유다. 의료 LoRA 를 혼자 썼을 때도 같은 일이 생겼다. 그러니 이건 결합의 문제가 아니라, 증상 목록으로 만든 학습 데이터의 한계다. 결합은 이 한계를 더 자주 드러나게 했을 뿐이다.
문제는 다른 곳에서 터졌다. 4차 결합 모델은 의료 질문 14 개 중 6 개에서 질문 목록 없이 한 문장으로 끝나 버렸다.
4차 개선 후 질문 테스트)
며칠째 기침이 계속되고 밤에 더 심해집니다. 열은 없는데 어떤 점을 확인해야 하나요?
| 구성 (1.0 : 1.0) | 응답 |
|---|---|
| 3차 캐릭터 + 의료 | 사투리 질문 목록 5 개 + 위험 신호 안내 |
| 4차 캐릭터 + 의료 | 증상이 언제부터 그랬나요? |
| 항목 | 3차 + 의료 | 4차 + 의료 |
|---|---|---|
| 의료 LoRA 보강 데이터와 닮은 질문 수 (처음 보는 증상, 평균) | 0.8 개 | 0.5 개 |
| 질문 수 (처음 보는 증상, 평균) | 4 개 정도 | 2 개 정도 |
| 위험 신호 안내 (처음 보는 증상) | 70% | 50% |
| 목록 없이 한 문장으로 끝난 질문 | 0 / 14 | 6 / 14 |
4) 왜 질문 목록이 빠졌을까
단서는 의료 LoRA 단독 결과에 있었다. "아침마다 어지럽고 구토는 없습니다. 확인할 것을 물어봐 주세요"라는 질문에 의료 LoRA 단독도 "어지러움은 언제부터 시작되었나요?" 한 문장만 답했다. 4차 결합 모델이 한 문장으로 끝난 모양과 똑같다.
의료 LoRA 에는 답하는 방식이 두 가지 섞여 있다. 원본 대화 3,000 개에서 온 "한 번에 질문 하나" 방식이 약 90% 이고, 04 에서 추가한 "질문 목록" 방식이 약 10% 다.
- 3차 캐릭터 개선: 캐릭터 LoRA 가 의료 LoRA 의 목록형 문진과 같은 내용을 배웠다. 합치면 둘이 함께 "질문 목록" 방식을 밀어 줘서, 적은 쪽인 목록 방식이 이겼다.
- 4차 캐릭터 개선: 내용을 나누자 캐릭터 LoRA 가 목록 방식을 함께 밀어 주던 힘이 사라졌다. 그러자 많은 쪽인 "질문 하나" 방식이 이기는 경우가 생겼다.
질문 개수를 정해 준 경우("질문 6 개", "네 개")에는 4 개 중 3 개가 목록을 유지했고, 정하지 않은 경우에는 10 개 중 5 개가 한 문장으로 끝났다. 질문 안에 목록으로 답하라는 신호가 있으면 버틴다는 뜻이라 위 해석과도 맞는다.
결국 3차에서 두 LoRA 가 공유한 내용은 엉뚱한 질문을 끌어오기도 했지만, 의료 LoRA 를 목록 방식으로 끌어내는 스위치 노릇도 했다. 내용을 나누면 해결될 거라던 예상은 반만 맞은 셈이다. 또 07 에서는 "두 LoRA 가 함께 배운 내용은 합치면 더 강해진다"고 해석했는데, 질문 10 개로 다시 확인해 보니 일부 질문에서만 그랬다.
09. 의료 LoRA 학습 데이터 2차 개선
08 에서 찾은 원인은 의료 LoRA 안에 첫 답변 방식이 섞여 있다는 것이었다. 원본 대화 3,000 개 남짓에서 의사의 첫 답변을 세어 보니 다음과 같았다.
| 첫 답변 방식 | 비중 |
|---|---|
| 질문 없이 설명·조언 | 60% 정도 |
| 질문 하나만 하고 끝 | 35% 정도 |
| 한 문장 안에 질문 여러 개 | 5% |
| (04 에서 추가한) 질문 목록 | 학습 대상의 약 10% |
같은 종류의 질문에 정답이 여러 개였던 셈이다. 그래서 "같은 상황에는 같은 방식"이 되도록 의료 데이터를 다시 만들었다.
1) 무엇을 바꿨나
| 변경 | 내용 |
|---|---|
| 원본 첫 답변은 학습에서 제외 | 3,000 개 남짓한 첫 답변은 대화 맥락으로만 남기고, 첫 답변은 질문 목록만 학습했다. 이어지는 답변은 원본 그대로다. |
| 실제 대화에서 질문 목록 만들기 | 의사가 여러 턴에 걸쳐 하나씩 물은 질문을 모아 첫 답변 목록으로 만들었다(360 개 남짓). 진찰 소견을 묻거나, 앞 문맥이 있어야 이해되거나, 문진이 아닌 질문은 규칙으로 걸러냈다. |
| 템플릿 문진 확장 | 증상을 42 종에서 58 종으로, 증상당 환자 설명을 2 개에서 5 개로 늘렸다. "배"라는 단어를 여러 증상의 설명에 나눠 써서 단어 하나에 질문이 묶이지 않게 했다. |
| 버그 수정 | 2턴 요약에서 엉뚱한 답이 붙던 문제(10 건 남짓)를 고쳤다. |
그 결과 첫 답변 학습 대상 2,600 개 남짓이 모두 질문 목록이 됐다. 학습 설정은 1차와 같다.
2) 결과: 의료 LoRA 단독
의료 2차 개선 후 질문 테스트)
아침마다 어지럽고 구토는 없습니다. 아직 모르는 증상은 지어내지 말고 확인할 것을 물어봐 주세요.
| 구성 | 응답 |
|---|---|
| 의료 1차 | 어지러움은 언제부터 시작되었나요? |
| 의료 2차 | 증상의 원인을 좁히기 위해 다음을 확인하겠습니다. 1. 어지러움은 언제부터 있었나요? 2. 실제로 쓰러지거나 넘어진 적이 있나요? 3. 최근 새로 먹기 시작한 약이 있나요? … (위험 신호 안내) |
의료 질문 10 개에서 1차는 1 개가 질문 하나로 끝났고, 2차는 모두 질문 목록으로 답했다. "뜨거운 물에 배를 데었는데…" 질문에도 1차는 "배가 아프거나 부어있나요?"라고 복통을 물었지만, 2차는 "물집이 터지거나 붓나요?"처럼 화상에 맞는 질문을 했다. 원본 첫 답변을 학습에서 뺐는데도 처음 보는 증상에 맞게 묻는 걸 보면 의료 지식도 유지된 것으로 보인다.
3) 결과: 캐릭터 LoRA 와 결합 (1.0 : 1.0)
같은 세션, 같은 조건에서 캐릭터 4차 LoRA 를 의료 1차와 결합한 결과와 의료 2차와 결합한 결과를 비교했다. 평가 질문 14 개 중 결과를 확인한 10 개 기준이다.
| 질문 | 캐릭터 4차 + 의료 1차 | 캐릭터 4차 + 의료 2차 |
|---|---|---|
| 기침 (개수 미지정) | ❌ 증상이 언제부터 그랬나요? | ❌ 위험 신호 안내 한 문장 |
| 두통 (6 개) | 목록 6 개 | 목록 3 개 (개수 미달) |
| 기침 (4 개) | 목록 4 개 | ❌ 위험 신호 안내 한 문장 |
| 어지럼 (물어봐 주세요) | ❌ 한 문장 | 사투리 목록 2 개 |
| 발뒤꿈치 (3 개) | ❌ 증상이 언제부터 그랬노? | 사투리 목록 3 개 |
| 딸꾹질 | ❌ 증상이 언제부터 그랬나요? | 사투리 목록 4 개 |
| 엄지발가락 (4 개) | 목록 4 개 | 목록 4 개 |
| 한쪽 귀 삐 소리 | ❌ 한 문장 | 사투리 목록 5 개 |
| 옆구리 띠 모양 물집 | 목록 3 개 | 목록 4 개 |
| 배를 데었는데 | 목록 4 개 (복통 질문) | 목록 3 개 (복통 질문) |
| 목록 없이 한 문장으로 끝난 질문 | 5 / 10 | 2 / 10 |
의료 2차 개선 후 질문 테스트)
이틀째 딸꾹질이 멈추지 않아요. 어떤 점을 확인해야 하나요?
| 구성 (1.0 : 1.0) | 응답 |
|---|---|
| 캐릭터 4차 + 의료 1차 | 증상이 언제부터 그랬나요? |
| 캐릭터 4차 + 의료 2차 | 아이고, 걱정되겠네. 그래도 단정은 못 한데이. 1. 딸꾹질은 언제부터 그랬노? 2. 술을 자주 마시나? 3. 숨이 차거나 누우믄 아픈 데는 없나? 4. 요새 새로 먹기 시작한 약이 있나? … |
의료 LoRA 의 첫 답변 방식을 하나로 맞추자, 결합했을 때 질문 목록 없이 끝나는 일이 10 개 중 5 개에서 2 개로 줄었다. 사투리로 된 질문 목록도 더 자주 나왔다.
4) 남은 문제
답변 방식을 통일하자 질문 목록은 잘 유지됐다. 대신 두 LoRA가 함께 강하게 배운 마무리 문장과 캐릭터 데이터의 증상 목록이 결합 결과를 한쪽으로 끌고 가는 새 약점으로 남았다.
10. 캐릭터 LoRA 5차 개선: 의료 LoRA 위에서 학습하기
09 까지는 데이터를 고쳐서 결합 문제를 풀었다. 그런데 하나를 고치면 다른 약점이 드러났다. 두 LoRA 가 서로를 모른 채 따로 학습되기 때문에, 합치는 순간 각자의 습관이 부딪히는 것이다. 그래서 이번에는 데이터가 아니라 학습 방식을 바꿨다.
1) 무엇을 바꿨나
캐릭터 LoRA 를 학습할 때 의료 LoRA 2차를 고정한 채로 켜 두었다. 캐릭터 LoRA 는 처음부터 "의료 LoRA 와 합쳐진 상태"에서 정답과 비교되며 학습한다.
| 기존 (캐릭터 1~4차) | 캐릭터 5차 | |
|---|---|---|
| 학습할 때 켜져 있는 것 | 베이스 모델 + 캐릭터 | 베이스 모델 + 의료 2차(고정) + 캐릭터 |
| 점수를 매기는 답 | 캐릭터 혼자 낸 답 | 의료와 합쳐진 상태에서 낸 답 |
| 캐릭터가 배우는 것 | 사투리와 문진 형식 전부 | 의료가 이미 하는 일을 뺀 나머지 (주로 말투) |
| 학습 데이터 | 4차 데이터 | 4차와 같음 |
이전 방식에서는 두 LoRA 가 학습하는 동안 서로를 전혀 몰랐다. 각자 베이스 모델 위에서 따로 배운 뒤, 사용할 때 합치는 순간 처음 만났다. 그래서 합치는 순간 각자의 습관이 부딪혔다.
5차 방식에서는 캐릭터 LoRA 가 처음부터 실제로 쓰일 상태 그대로 학습한다. 의료 LoRA 가 이미 문진을 하고 있는 상태에서 채점되므로, 캐릭터 LoRA 는 "의료 LoRA 의 답을 사투리로 바꾸는 법"만 배우면 된다. 학습 중에 고쳐지는 것은 캐릭터 LoRA 뿐이고, 의료 LoRA 는 전혀 바뀌지 않는다.
비유하자면, 문진을 이미 잘하는 의사 옆에 캐릭터를 앉혀 두고 "저 의사의 말을 최익현 말투로 바꿔 말하는 연습"만 시킨 셈이다. 의료 LoRA 가 이미 잘하는 질문 목록이나 증상에 맞는 질문 고르기는 캐릭터가 따로 배울 필요가 없다.
처음 써 보는 방식이라 학습 전에 몇 가지를 확인했다. 의료 LoRA 가 실제로 답에 반영되는지, 학습 전 캐릭터 LoRA 는 아무 영향이 없는지, 학습 중 의료 LoRA 는 전혀 바뀌지 않는지를 확인했고 모두 통과했다.
대신 사용 조건이 생긴다. 이렇게 학습한 캐릭터 LoRA 는 반드시 의료 LoRA 2차와 1.0 : 1.0 으로 함께 써야 한다. 혼자 쓰거나 다른 의료 LoRA 와 합치면 학습한 조건에서 벗어난다. 두 LoRA 를 하나의 Adapter 로 합쳐 저장해 두면 실제로 쓸 때는 파일 하나로 쓸 수 있다.
2) 결과
09 에서 약점으로 남았던 4 개 질문으로 먼저 비교했다. 같은 의료 LoRA 2차에 캐릭터 4차를 합친 결과와 캐릭터 5차를 합친 결과다.
| 질문 | 캐릭터 4차 + 의료 2차 | 캐릭터 5차 + 의료 2차 |
|---|---|---|
| 기침 (개수 미지정) | ❌ 위험 신호 안내 한 문장 | 사투리 목록 4 개 |
| 기침 (4 개) | ❌ 위험 신호 안내 한 문장 | 사투리 목록 4 개 |
| 옆구리 띠 모양 물집 | 목록 4 개 (옆구리 통증 질문) | 목록 4 개 (물집 질문) |
| 배를 데었는데 | 목록 3 개 (복통 질문) | 목록 4 개 (화상 질문) |
| 질문 목록 유지 | 2 / 4 | 4 / 4 |
| 평균 사투리 | 0.88 | 0.84 |
캐릭터 5차 개선 후 질문 테스트)
뜨거운 물에 배를 데었는데 물집이 생겼어요. 어떤 점을 확인해야 하나요?
| 구성 (1.0 : 1.0) | 응답 |
|---|---|
| 캐릭터 4차 + 의료 2차 | 아이고, 걱정되겠네. 그래도 단정은 못 한데이. 1. 배가 아프기 시작한 거는 언제부터 그랬노? 2. 열이나 소변·대변 변화가 있나? 3. 요새 새로 먹기 시작한 약이 있나? … |
| 캐릭터 5차 + 의료 2차 | 원인은 함부로 단정 못 하는 기라. 내가 하나씩 물어보께. 1. 배가 데친 거는 처음 시작된 기 언제고? 2. 물집이 튀어나와 있나? 3. 붉게 붓고 열이 나나? 4. 병원에서 받아 묵는 약 있나? 이거 알려 주믄 다음 단계를 같이 보자. 다만 물집이 튀어나와 있고 붉게 붓고 열이 나는 경우가 있으믄 미루지 말고 바로 병원이나 응급실 가래이. |
질문 목록이 무너지는 문제와 엉뚱한 질문을 하는 문제가 함께 풀렸다. 말투도 거의 그대로 남았다. 캐릭터 LoRA 가 의료 LoRA 와 형식이나 내용을 두고 다투지 않고, 의료 LoRA 의 답을 사투리로 바꾸는 쪽으로 학습된 것으로 보인다.
3) 아직 남은 것
말이 꼬인 표현("기 남", "데친")과 증상에 맞지 않는 위험 신호 안내가 아직 남아 있고, 결과도 4 개 질문으로만 확인했다. 또 이렇게 학습한 캐릭터 LoRA 는 의료 LoRA 와 짝으로만 쓸 수 있어서, 자유롭게 바꿔 끼우는 장점은 포기해야 한다.
11. 결론
한 줄로 정리하면, 두 LoRA 를 합칠 때 결과를 정한 건 얼마나 섞느냐(가중치)가 아니라 무엇을, 어떻게 가르쳤느냐였다.
이번 포스트에서 확인한 내용은 세 가지다.
1) 캐릭터 LoRA 는 다섯 번의 재학습으로 말투를 얻었고, 마지막에는 의료 LoRA 위에서 학습하는 방식으로 결합 문제를 풀었다.
| 차수 | 바꾼 것 | 결과 |
|---|---|---|
| 1차 | 표현을 과장한 학습 데이터 | 사투리가 생겼지만 거의 모든 문장이 "~해야제"로 끝날 만큼 단조로웠다. 결합하면 한두 문장으로 짧아졌다. |
| 2차 | 반복 문장 제거, 사투리 비율 절반 이하 → 75% 정도, 학습 하이퍼파라미터 개선 | 단독으로는 사투리가 뚜렷해졌다. 하지만 결합하면 "내가 하나씩 풀어 주께"라고 약속만 하고 끝났다. |
| 3차 | 의료 LoRA 와 같은 형식의 사투리 문진 추가 | 1:1 결합에서 처음으로 사투리, 질문 목록, 위험 신호 안내가 함께 나왔다. 단, 학습한 증상에서만이다. |
| 4차 | 의료 문진의 증상과 질문을 의료 LoRA 와 겹치지 않게 | 다른 증상의 질문을 끌어오는 일은 줄었지만, 결합하면 의료 질문 14 개 중 6 개가 질문 목록 없이 한 문장으로 끝났다. |
| 5차 | 같은 데이터로, 의료 LoRA 2차를 켜 둔 채 학습 | 약점 질문 4 개 모두 사투리 질문 목록을 유지했고, 엉뚱한 질문도 사라졌다. |
결국 LoRA 는 데이터보다 과장해서 말하지 않았다. 학습 설정을 바꾼 것도 도움이 됐지만 말투가 달라진 건 데이터를 고쳤을 때였다. 2차에서 500 step 중 200 step 만에 가장 좋은 점수가 나온 것도, 데이터가 단조로우면 금방 외워 버리기 때문이다.
2) 의료 LoRA 는 두 번의 재학습으로 스스로 문진하게 됐고, 답변 방식도 하나로 정리됐다.
| 차수 | 바꾼 것 | 결과 |
|---|---|---|
| 1차 | 잘린 대화 복원, 약 용량 처방·번역 흔적 제거, 질문 목록 문진 추가 | 질문 목록과 위험 신호 안내로 답하게 됐다. 하지만 첫 답변 방식이 섞여 있어 질문 하나로 끝나는 경우가 남았다. |
| 2차 | 첫 답변을 질문 목록 한 가지로 통일, 실제 대화 기반 목록, 환자 설명 다양화 | 단독으로는 의료 질문 10 개 모두 질문 목록으로 답했고, "배" 단어에 끌려가던 문제도 풀렸다. |
3) 결합의 문제는 데이터와 학습 방식에서 풀렸다.
- 서로 지우는 문제는 아니었다.
: 문제는 누가 답변 형식을 정하느냐였다. 가중치를 바꾸면 결과가 섞이지 않고 스위치처럼 한쪽으로 넘어갔다. - 데이터로 조금씩 나아졌다.
: 형식을 맞추고, 내용을 나누고, 의료 LoRA 의 답변 방식을 하나로 정리하자 질문 목록이 무너지는 일이 10 개 중 5 개에서 2 개로 줄었다. 하지만 하나를 고치면 다른 약점이 드러났다. - 학습 방식을 바꾸자 크게 나아졌다.
: 의료 LoRA 를 켠 채로 캐릭터를 학습하자 약점 질문 4 개 모두에서 목록이 유지됐고 엉뚱한 질문도 사라졌다. 따로 배운 두 LoRA 가 부딪히는 대신, 처음부터 함께 쓰일 상태로 배웠기 때문이다.
그래서 얻은 교훈
- 데이터가 먼저다. 학습 설정은 데이터에 담긴 것 이상을 만들지 못한다.
- 답변 방식은 하나로. 데이터 안에 방식이 섞여 있으면, 결합할 때 상대에 따라 다른 방식이 튀어나온다.
- 함께 쓸 거라면 함께 배우게 하자. 따로 학습해 나중에 합치는 것보다, 합쳐질 상대를 켜 둔 채 학습하는 쪽이 훨씬 안정적이었다.
- 처음 보는 질문으로 검증하자. 배운 질문에서 잘 되는 건 증명이 아니었다.
12. 다음 과제: 일상 대화와 라우팅
5차 방식은 일상 대화에 약했다. "안녕하세요"에 캐릭터 4차 단독은 "오늘 하루는 어땠노?"라고 답했지만, 캐릭터 5차 + 의료 2차는 "결과 보고 말하는 기다"처럼 엉뚱하게 답했다.
두 LoRA 가 배운 대화가 달랐기 때문이다. 캐릭터 LoRA 는 "발표가 긴장된다", "상사가 말을 끊는다" 같은 일상 고민 대화를 배웠다. 그래서 인사처럼 처음 보는 말에도 일상 대화로 받아 준다. 반면 의료 LoRA 는 증상을 말하는 대화만 배웠고, 첫 답변은 늘 질문 목록이었다. 그래서 어떤 말이 와도 증상 이야기로 받아들이려 한다. 모델은 배운 상황만 처리할 수 있다.
5차 캐릭터는 그런 의료 LoRA 의 답을 사투리로 바꾸는 법을 배웠다. 그래서 의료 LoRA 가 엉뚱하게 답하는 인사 앞에서는 그 엉뚱한 답을 사투리로 옮겼다. 함께 배우면 결합은 좋아지지만, 상대가 모르는 상황에서는 그 약점까지 물려받는 셈이다.
그래서 질문이 의료 상담이면 캐릭터 5차 + 의료 2차로, 아니면 캐릭터 4차 단독으로 보내는 라우팅을 생각하고 있다. 판단은 "의료 / 일상" 중 하나를 고르는 일이라 JEV 가 잘 맞고, 애매하면 의료 쪽으로 보내 위험 신호 안내를 놓치지 않게 할 생각이다.