사내 전산망용 GPT 서버 세팅 가이드
목적
외부 API 의존도를 줄이고, 내부 데이터 유출 위험 없이 GPT 기능을
사내 시스템(PLM, ERP, 그룹웨어 등)에 안전하게 통합하기 위한 구성 전략입니다.
구성 시나리오 3가지
유형 | 설명 | 추천 환경 |
---|
① OpenAI API 프록시 방식 | 내부 서버에서 GPT API 호출 중계 | 외부 API 사용 가능할 경우 |
② GPT 모델 로컬 배포 (LLM) | GPT-3.5/4급 성능 오픈모델 직접 호스팅 | 외부망 차단, 자체 GPU 보유 |
③ Azure OpenAI + 전용 VPN | MS Azure의 GPT API 사용, 보안 연결 | 클라우드 연동 가능한 기업 |
1. 프록시 서버 구성 (OpenAI API 연동)
구성도
css
[내부 시스템] → [사내 GPT 프록시 서버] → [OpenAI API 서버]
장점
- API Key를 외부에 노출하지 않음
- 전사 API 호출 관리 및 로그 기록 가능
- 보안 그룹·사용자 인증·요금 제어 가능
프록시 예제 (Flask)
python
from flask import Flask, request, jsonify
import requests, os
app = Flask(__name__)
OPENAI_KEY = os.getenv("OPENAI_KEY")
@app.route("/chat", methods=["POST"])
def proxy_gpt():
payload = request.json
headers = {
"Authorization": f"Bearer {OPENAI_KEY}",
"Content-Type": "application/json"
}
res = requests.post("https://api.openai.com/v1/chat/completions", json=payload, headers=headers)
return jsonify(res.json())
app.run(host="0.0.0.0", port=8000)
2. 로컬 GPT 모델 배포 (사내 GPU 서버 활용)
추천 모델
모델 | 설명 | 자원 |
---|
LLaMA 2 (Meta) | GPT-3급, 오픈 라이선스 | 1~2x A100 |
Mistral 7B / Mixtral | 뛰어난 추론 성능 | 24GB VRAM 이상 |
DeepSeek, Yi-34B | 중국계 고성능 모델 | 80GB 이상 GPU |
LM Studio, Ollama | 쉽게 테스트 가능한 로컬용 | 개발 PC 또는 서버 |
기본 세팅 절차
- 서버 준비
- Ubuntu 22.04, NVIDIA 드라이버, CUDA 설치
- 모델 다운로드
- Hugging Face에서 safetensors 모델 받기
- LLM 서버 실행
text-generation-webui
, Ollama
, LM Studio
활용
- REST API 형태로 내부 시스템 연결
- POST
/generate
호출 → 결과 응답
3. Azure OpenAI 전용 VPN 연동
- Microsoft Azure OpenAI는 엔터프라이즈 GPT API를 제공합니다.
- 사내망과 VPN 또는 ExpressRoute로 전용망 연결 가능
- 보안인증(ISO 27001, GDPR, ISMS 등) 요구하는 기업에 적합
보안 구성 체크리스트
항목 | 설명 |
---|
API Gateway 구성 | 요청 필터링, 인증 처리, 트래픽 제어 |
로그 감사 | 사용자 질의 내용과 응답 로그 저장 (GDPR 주의) |
속도 제한 | 사용자/조직별 호출량 제한 (rate limiting) |
민감정보 마스킹 | 입력 전 이메일, 이름, 도면 번호 제거 |
내부 사용자 인증 | JWT, LDAP, SSO 등과 연동 |
운영 도구
도구 | 목적 |
---|
Prometheus + Grafana | API 요청/응답 모니터링 |
NGINX | Reverse Proxy + 보안 필터링 |
Docker | GPT 서버 컨테이너화 |
Vault (Hashicorp) | OpenAI Key 및 설정 암호화 관리 |
예제 운영 구성
docker-compose.yaml
예시
yaml
version: '3'
services:
gpt-proxy:
image: python:3.11
volumes:
- ./app:/app
working_dir: /app
command: python app.py
ports:
- "8000:8000"
environment:
- OPENAI_KEY=your-key-here
결론
사내 GPT API 연동을 위한 핵심 포인트는 **“보안, 통제, 편리함”**입니다.
외부 API 사용이 가능하다면 → 프록시 서버 방식
내부망 폐쇄 + 고성능 요구 시 → 자체 모델 배포
기업 인증, 보안 중요시 → Azure OpenAI + VPN 연동
GPT는 단순 AI가 아니라, 전사 지식과 데이터를 연결하는 브레인입니다.
사내 전산망에 안전하게 연결하면 업무 혁신이 현실이 됩니다.