litellm LiteLLM Customization LiteLLM 에 대한 이야기를 이어서 써보기로 한다. LiteLLM 이외의 다른 대안을 찾아봤는데 딱히 괜찮아 보이는 오픈소스는 찾기 힘들었다. 심플한데 주요기능이 없거나 또 괜찮다 싶으면 핵심기능이 유료구독인 경우가 많았다. 그에 비해 LiteLLM 은 꽤나 후한편이었고 부족한 부분은 만들면 그만이었다. 다음은 LiteLLM 의 Enterprise 버전에서만 제공하는 기능들이다. 1. 보안 & 접근 제어
litellm AWS Bedrock 으로 사내 LLM Gateway(Litellm) 구축하기 1.LiteLLm 구축 많은 기업들이 AX 를 하겠다고 발벗고 나선 가운데 정작 어떤 모델을 사내에 공급할지가 아마도 큰 고민이었을 거라 생각한다. 보안이 중요한 곳에서는 로컬 서버에서 공개된 모델을 돌리는 곳도 봤고, 벤처 같은 경우에는 쿨하게 직원들에게 정기구독을 끊어주는 곳도 많이 봤다. 처음 LiteLLM 을 구축할때만 해도 대게 공개 모델들의 성능이
aws Claude Code + AWS Bedrock + XCode 연동 0. 개요 AWS Bedrock 기반의 Claude Code 콘솔에서 Xcode 를 제어하기 위한 연동 방법을 서술하였음 1. AWS 권한 설정 * SignInLocalDevelopmentAccess * 그외 bedrock 관련 권한 2. 환경변수 추가 1) 콘솔 환경변수 추가 export CLAUDE_CODE_USE_BEDROCK=1 export AWS_REGION=ap-northeast-2 export AWS_CA_BUNDLE="" 2) 환경변수 추가
aws AWS, 네트워크 환경구축 AWS, lightsail 컨테이너 서비스에서 지원하는 것이 부족해서 ECS 를 무작정 사용해보고자 했다. (lightsail 컨테이너도 기반은 ECS 라고 하던데 세부적인 기능이 빠져있었다.) 먼저 lightsail 에서 벗어나 aws 상에 네트워크를 구축하는 것이 먼저 해야 할 일이었고 아래와 같이 VPC 를 구성하고 AZ 를 나누어 pubic / private zone의 구성을 만들어야 했다. 1. 네트워크
aws AWS, SES 도메인 연동 개인 프로젝트를 진행하던 도중 AWS 의 Simple Email Service 를 고려하게 됐고 연동과정을 기록해 두기로 한다. 1. 자격증명생성 과감하게 오른쪽 위 "자격증명생성" 을 클릭해봤다. 생소한 화면이나 수정하면 되지 하는 마음으로 아래와 같이 대충 입력 후 "자격증명생성" "자격증명생성" 완료 후 아래와 같이 TXT 레코드 및
