Skip to content

Conversation

@pizzazoa
Copy link
Owner

📝 요약(Summary)

ai 요약 서비스를 추후 확장 및 변경하기 쉽게 ai 서버를 따로 두고자 합니다. 이에 따라 ai 폴더를 따로 만들었습니다.
main 브랜치 병합 시에는 ai 폴더가 제외되어 따로 배포가 가능하도록 설계했습니다.
기존 자바 기반 ai 호출 서비스에서 파이썬 기반 ai 호출 서비스로 전환하는 변경입니다.

장점

  • ai 제공자/모델 변경 및 확장에 용이
  • LLM ai 특화된 랭체인과 파이썬 생태계를 통해 자바에 비해 더 빠르게 새 모델 도입 가능
  • 제미나이와 같은 모델은 openai 모델들보다 빠르지만 json 형식을 지키는 것에 덜 엄격함. 이런 문제를 Pydantic과 같은 라이브러리로 체크 후 fallback할 수 있음.
  • 백엔드 서버는 vm으로 상시 운영, ai 서버는 호출 시에만 따로 돌리는 stateless 운영으로 나눌 수 있음. 또 이 덕에 비동기로 작업을 전환해도 서버의 다른 작업 성능에 영향을 덜 끼침

단점

  • 서버를 하나 더 관리해야하는 번거로움
  • 서버를 하나 더 거쳐야하는 레이턴시 발생
  • 모델 변경이 잦지 않거나 하나로 고정한 다음 쭉 가는 경우엔 오버엔지니어링

🔗 Related Issue

  • Closes:

💬 공유사항

@1Seob
위 장단점을 보고 의견 남겨주세요.

참고로 ai 서버를 분리할 경우, stateless 환경은 aws 람다보다 구글의 cloudrun이 더 나은 성능을 보여 gcp에서 compute engine + cloudRun 조합이 나을 수 있습니다. 여기에 모델까지 gemini로 가게 되면 더더욱 gcp가 나을 수 있습니다.

ai 서버를 분리하지 않을 경우엔 지난 번에 얘기 나온대로 aws로 이전하는 걸 고려할 수 있습니다.

✅ PR Checklist

PR이 다음 요구 사항을 충족하는지 확인하세요.

  • [✅] PR 제목을 커밋 메시지 컨벤션에 맞게 작성했습니다.

@1Seob
Copy link
Collaborator

1Seob commented Dec 29, 2025

GCP 사용은 좋습니다.
다만 여러모로 ai 서버는 따로 레포지토리를 파는 게 좋지 않을까요..??

@pizzazoa
Copy link
Owner Author

GCP 사용은 좋습니다. 다만 여러모로 ai 서버는 따로 레포지토리를 파는 게 좋지 않을까요..??

그럼 'ai 서버를 따로 두자'로 결정되면 이 pr은 닫아버리고 새 리포를 파도록 하겠습니다!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants