: 로컬의 보안과 클라우드의 지능을 하나로 묶다
들어가며: 왜 ‘아하이브리드’인가?
모두가 똑똑한 클라우드 AI를 말할 때, 저는 고민했습니다. “내 소중한 개인 정보와 코드를 밖으로 보내지 않고도 똑똑한 비서를 가질 수 없을까?” 그 답은 로컬 모델(Ollama)의 보안성과 클라우드 모델(OpenAI)의 강력한 성능을 결합한 하이브리드 에이전트였습니다.
Step 1. 기초 공사: 우분투(Ubuntu) 원격 접속의 늪을 건너다
모든 AI 실험의 전초기지는 리눅스 서버였습니다. 하지만 시작부터 난관에 부딪혔습니다.
- 난관: 우분투의 기본 원격 데스크톱(RDP) 설정이 ‘보류 중’에서 멈추는 고질적인 문제.
- 해결:
- 리눅스의 최신 그래픽 엔진인 Wayland를 비활성화하고 전통적인 X11로 전환.
- 보안 키링(Keyring) 문제를 수동으로 해결하며 인증의 벽을 넘음.
- 결국 Chrome Remote Desktop을 통해 윈도우 11에서 리눅스로 언제 어디서든 접속 가능한 완벽한 원격 환경을 구축했습니다.
Step 2. 심장 이식: 내 PC 안의 뇌, Ollama 설치
클라우드 비용 걱정 없이, 인터넷 없이도 작동하는 AI를 위해 Ollama를 심었습니다.
- 모델: 가볍지만 영리한 Llama 3.2를 선택.
- 트러블슈팅: 도커(Docker) 안의 에이전트가 밖의 AI를 인식하지 못할 때, 환경 변수 설정을 통해 모든 IP(
0.0.0.0)에서 접속 가능하게 길을 열었습니다.
Step 3. 지휘본부 구축: Dify로 완성하는 에이전트 허브
단순한 챗봇이 아니라 스스로 도구를 쓰는 ‘에이전트’를 위해 Dify를 도입했습니다.
- 도커(Docker)의 힘: 복잡한 설치 없이 컨테이너 환경에서 안정적으로 에이전트 서버를 올렸습니다.
- 네트워크 해결: 도커 내부 가상 IP(
172.17.0.1)를 활용해 로컬 AI와 클라우드 AI를 한곳으로 모으는 데 성공했습니다.
Step 4. 실전 가동: 금융 비서부터 코드 전문가까지
이제 제 에이전트는 상황에 따라 ‘두 개의 뇌’를 바꿔 씁니다.
- 하이브리드 지능: 간단한 일상 리포트와 개인 보안 문서는 로컬 모델이, 복잡한 자바 코드 분석은 OpenAI가 담당합니다.
- 실시간 데이터: Yahoo Finance 도구를 연결해 내가 잠든 사이에도 주식과 코인 가격을 실시간으로 추적하고 리포트합니다.
마치며: 에이전트가 바꿀 나의 내일
이 연대기는 이제 시작입니다. 단순한 질문 답변을 넘어, 이제 제 에이전트는 제 코드를 학습하고 제 자산을 모니터링합니다. 앞으로 자동화된 워닝 리포트와 더 복잡한 워크플로우를 추가하며 이 비서를 더 똑똑하게 키워갈 계획입니다.
🛠️ 사용된 기술 스택
- OS: Ubuntu 24.04 LTS (Windows 11에서 원격 접속)
- AI Engine: Ollama (Llama 3.2), OpenAI API (GPT-4o)
- Platform: Dify (Self-hosted via Docker)
- Tools: Chrome Remote Desktop, Yahoo Finance API
본 포스팅은 기술적 공유를 목적으로 하며, AI 분석 결과는 참고용으로만 활용하시기 바랍니다.