[Feat] 점수화 로직 추가

[chaeyuuu]

💻 Related Issue

• closed [Feat] GPT 프롬프트 튜닝 #10

🚀 Work Description

• 사기 유형명 통일
• 점수화 로직 추가

사기 유형명 통일 후, 점수화 로직 추가하였습니다. gpt 내부에 점수 환산 기준 넣어서 판단하도록 했는데 조금 더 손 봐야할 것 같습니다.

🙇🏻‍♀️ To Reviewer

➕ Next

Summary by CodeRabbit

• New Features

  • 18개 카테고리 사기 규칙표 추가 및 예시 데이터 대폭 확장으로 탐지 범위 강화

• Refactor

  • 프롬프트 시스템 개편: 규칙표와 예시를 외부 데이터로 불러와 통합·표준화
  • 예시 데이터 구조 변경(메시지/설명 블록화) 및 카테고리명 일부 수정
  • 사기 점수 유효범위 상한을 70으로 조정(0~70)

• Chores

  • GPT 호출 온도 하향(출력 일관성 향상)
  • .gitignore 서식 정리

[coderabbitai]

Walkthrough

프롬프트 시스템이 파일 기반 규칙과 예시 데이터를 사용하는 구조로 재구성되었고, 예시 데이터 스키마가 리스트 기반으로 변경되었습니다. 위험도 점수 상한이 70으로 조정되었고, 점수 규칙 데이터가 추가되었습니다. GPT 호출의 temperature가 0.1로 낮춰졌습니다.

Changes

Cohort / File(s)	Summary
모델 점수 범위 조정 app/models/fraud_response.py	FraudResponse.score 유효 범위를 0–100 → 0–70으로 축소, description 갱신
예시 데이터 스키마 변경 및 데이터 확장 app/prompts/fraud_example.py, app/prompts/data/fraud_examples.py	FraudExample의 message_content/additional_description 타입을 List[str]로 변경, image_content 제거; FRAUD_EXAMPLES를 다수 유형·예시로 확장 및 카테고리명 변경
프롬프트 생성 로직 재구성 및 규칙 도입 app/prompts/fraud_prompts.py, app/prompts/data/score_rules.txt	SYSTEM_PROMPT 추가, _load_rules()로 score_rules.txt 로드 및 [규칙표]/[예시] 포함한 시스템+유저 프롬프트 구성으로 변경; 반환 메시지 시퀀스를 [system, user]로 단순화; 키워드 렌더링 형식 변경
GPT 서비스 파라미터 조정 app/services/gpt_service.py	GPT 호출 temperature 0.5 → 0.1로 하향(출력 결정성 증가)
리포지토리 메타 변경(무기능) .gitignore	Marimo 블록의 ignore 라인 포맷 정리(기능적 변경 없음)

Sequence Diagram(s)

sequenceDiagram
  participant User
  participant PromptBuilder as fraud_prompts.get_fraud_detection_prompt
  participant RulesFile as score_rules.txt
  participant GPTService
  participant LLM

  User->>PromptBuilder: 입력(텍스트/키워드/이미지메타)
  PromptBuilder->>RulesFile: _load_rules()로 규칙 로드
  PromptBuilder-->>User: [system, user] 프롬프트 반환(예시 포함)
  User->>GPTService: 프롬프트 전송 (temperature=0.1)
  GPTService->>LLM: 모델 요청
  LLM-->>GPTService: 응답(점수/판정 등)
  GPTService-->>User: 응답 반환

Loading

Estimated code review effort

🎯 3 (Moderate) | ⏱️ ~20 minutes

Assessment against linked issues

Objective	Addressed	Explanation
예시 데이터를 이용해 프롬프트 튜닝 (#10)	✅
점수화 로직 추가 (#10)	✅

Out-of-scope changes

Code Change	Explanation
.gitignore Marimo 블록 포맷 정리 (.gitignore)	리포지토리 메타(무기능 포맷/공백 정리)로, 이 이슈의 프롬프트 튜닝/점수화 목표와 관련 없음.

Possibly related PRs

• [Feat] Connect GPT API #9: 유사한 FraudExample/FRAUD_EXAMPLES 스키마·프롬프트 구조 변경을 포함 — 코드 레벨 연관성 높음.

Poem

귀 쫑긋한 토끼가 규칙을 훑어,
예시들을 줄줄이 꿰어 넣고,
점수는 칠십까지 살짝 묶었네.
온도 낮추니 답이 또렷해져,
사기 냄새엔 내 콧수염이 먼저 반응! 🐰✨

✨ Finishing Touches

• 📝 Generate Docstrings

🧪 Generate unit tests

• Create PR with unit tests
• Post copyable unit tests in a comment
• Commit unit tests in branch feat/#10/gpt-prompt-tuning

---

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

• X
• Mastodon
• Reddit
• LinkedIn

🪧 Tips

Chat

There are 3 ways to chat with CodeRabbit:

• Review comments: Directly reply to a review comment made by CodeRabbit. Example:
  • I pushed a fix in commit <commit_id>, please review it.
  • Open a follow-up GitHub issue for this discussion.
• Files and specific lines of code (under the "Files changed" tab): Tag @coderabbitai in a new review comment at the desired location with your query.
• PR comments: Tag @coderabbitai in a new PR comment to ask questions about the PR branch. For the best results, please provide a very specific query, as very limited context is provided in this mode. Examples:
  • @coderabbitai gather interesting stats about this repository and render them as a table. Additionally, render a pie chart showing the language distribution in the codebase.
  • @coderabbitai read the files in the src/scheduler package and generate a class diagram using mermaid and a README in the markdown format.

Support

Need help? Create a ticket on our support page for assistance with any issues or questions.

CodeRabbit Commands (Invoked using PR/Issue comments)

Type @coderabbitai help to get the list of available commands.

Other keywords and placeholders

• Add @coderabbitai ignore anywhere in the PR description to prevent this PR from being reviewed.
• Add @coderabbitai summary to generate the high-level summary at a specific location in the PR description.
• Add @coderabbitai anywhere in the PR title to generate the title automatically.

CodeRabbit Configuration File (.coderabbit.yaml)

• You can programmatically configure CodeRabbit by adding a .coderabbit.yaml file to the root of your repository.
• Please see the configuration documentation for more information.
• If your editor has YAML language server enabled, you can add the path at the top of this file to enable auto-completion and validation: # yaml-language-server: $schema=https://coderabbit.ai/integrations/schema.v2.json

Status, Documentation and Community

• Visit our Status Page to check the current availability of CodeRabbit.
• Visit our Documentation for detailed information on how to use CodeRabbit.
• Join our Discord Community to get help, request features, and share feedback.
• Follow us on X/Twitter for updates and announcements.

[coderabbitai]

Actionable comments posted: 3

🔭 Outside diff range comments (2)

app/services/gpt_service.py (1)

13-27: async 함수 내 동기 API 호출로 인한 이벤트 루프 블로킹 위험

client.responses.create(...)는 동기 호출입니다. 현재 async def call_gpt에서 직접 호출하면 이벤트 루프를 블로킹할 수 있습니다. 스레드 오프로딩 또는 동기 함수화가 필요합니다.

다음과 같이 오프로딩을 권장합니다(해당 범위 내 diff):

@@
-    try:
-        response = client.responses.create(
+    try:
+        import asyncio
+        response = await asyncio.to_thread(
+            client.responses.create,
             model="gpt-4o-mini",
-            input = messages,
-            temperature = 0.1, # 생성된 텍스트의 무작위성을 결정
-            max_output_tokens = 200
-        )
+            input=messages,
+            temperature=0.1, # 생성된 텍스트의 무작위성을 결정
+            max_output_tokens=200
+        )

또는 단순히 def call_gpt(...)로 동기 함수로 선언을 바꾸는 것도 방법입니다.

app/prompts/fraud_prompts.py (1)

71-79: FraudExample가 List[str]로 바뀌었는데 문자열로 그대로 출력 — 예시 포맷 깨짐

ex.message_content/ex.additional_description가 리스트인데 리스트의 str 표현으로 들어갑니다. 모델이 예시를 제대로 학습/참조하지 못할 수 있습니다. 항목별로 줄바꿈/인덱스로 풀어써 주세요.

수정 diff:

-def build_example_lines(examples):
-    example_lines = ["사기 유형 및 예시:\n"]
-    for idx, ex in enumerate(examples, start=1):
-        example_lines.append(f"{idx}. {ex.type_name}:\n")
-        example_lines.append(f"   messageContent: '{ex.message_content}'\n")
-        example_lines.append(f"   additionalDescription: '{ex.additional_description}'\n")
-        example_lines.append(f"   keywords: '{ex.keywords}'\n")
-        
-    return example_lines
+def build_example_lines(examples: List[FraudExample]) -> List[str]:
+    example_lines = ["사기 유형 및 예시:\n"]
+    for idx, ex in enumerate(examples, start=1):
+        example_lines.append(f"{idx}. {ex.type_name}:\n")
+        # message_content
+        if ex.message_content:
+            for j, msg in enumerate(ex.message_content, start=1):
+                example_lines.append(f"   messageContent[{j}]: '{msg}'\n")
+        else:
+            example_lines.append("   messageContent: ''\n")
+        # additional_description
+        if ex.additional_description:
+            for j, desc in enumerate(ex.additional_description, start=1):
+                example_lines.append(f"   additionalDescription[{j}]: '{desc}'\n")
+        else:
+            example_lines.append("   additionalDescription: ''\n")
+        # keywords
+        example_lines.append(
+            f"   keywords: {', '.join(ex.keywords) if ex.keywords else 'None'}\n"
+        )
+    return example_lines

🧹 Nitpick comments (5)

app/prompts/fraud_example.py (1)

6-8: 리스트 필드에 최소 아이템 수 등 제약 추가 제안

실제 예시는 최소 1개 이상의 메시지/설명을 전제로 합니다. 모델 레벨에서 제약을 추가하면 데이터 품질을 보장할 수 있습니다.

적용 예시(diff는 해당 범위 내):

-from pydantic import BaseModel
+from pydantic import BaseModel, Field
...
-    message_content: List[str]
+    message_content: List[str] = Field(..., min_items=1, description="메시지 블록들")
...
-    additional_description: List[str]
+    additional_description: List[str] = Field(..., min_items=1, description="설명 블록들")

app/prompts/data/score_rules.txt (1)

131-131: 파일 끝 개행 추가 제안(선택)

일부 도구에서 마지막 개행 누락을 경고합니다. 유지보수성을 위해 개행 추가를 권장드립니다.

app/services/gpt_service.py (1)

28-28: 응답 전체 로그는 PII/비용 측면에서 과도함 — 최소화 권장

성공 로그에 전체 response 객체를 남기면 사용자 입력/출력이 포함되어 PII 유출 및 로그 비용 증가 우려가 있습니다. ID/메타만 남기세요.

적용 예시(diff):

-        logger.info(f"GPT API 호출 성공: {response}")
+        try:
+            logger.info(f"GPT API 호출 성공: id={getattr(response, 'id', None)}, model=gpt-4o-mini")
+        except Exception:
+            logger.info("GPT API 호출 성공")  # 안전한 폴백

app/prompts/fraud_prompts.py (2)

53-56: 시스템 프롬프트에 규칙+모든 예시를 전부 포함 — 토큰/비용 폭증 우려

규칙표 자체가 길고 예시도 다수입니다. 호출당 시스템 프롬프트가 과도해 지연/비용 증가가 큽니다. 예시 수를 축소하거나 카테고리별 대표 1~2건만 샘플링하는 옵션을 고려하세요. 규칙표도 필요한 섹션만 선택적으로 포함하거나 캐시/버전 관리를 통해 동일 프롬프트 재사용을 권장합니다.

---

61-65: 유저 입력을 평문으로 직렬화 — JSON 직렬화로 파싱 안정성 향상 권장

따옴표/개행/특수문자 때문에 모델 파싱 혼선이 생길 수 있습니다. JSON으로 전달하면 일관성이 좋아집니다. 시스템 프롬프트에도 “다음 JSON 입력을 분석하라”로 맞춰주세요.

해당 범위 내 수정(diff) 및 import 추가:

+import json
@@
-        "content": (
-            f"messageContent: '{message_content}'\n"
-            f"additionalDescription: '{additional_description}'\n"
-            f"keywords: {', '.join(keywords) if keywords else 'None'}\n"
-            f"imageContent: '{image_content}'"
-        )
+        "content": json.dumps({
+            "messageContent": message_content or "",
+            "additionalDescription": additional_description or "",
+            "keywords": keywords or [],
+            "imageContent": image_content or ""
+        }, ensure_ascii=False)

📜 Review details

Configuration used: CodeRabbit UI
Review profile: CHILL
Plan: Pro

📥 Commits

Reviewing files that changed from the base of the PR and between 4040389 and ef7fe53.

📒 Files selected for processing (7)

• .gitignore (1 hunks)
• app/models/fraud_response.py (1 hunks)
• app/prompts/data/fraud_examples.py (1 hunks)
• app/prompts/data/score_rules.txt (1 hunks)
• app/prompts/fraud_example.py (1 hunks)
• app/prompts/fraud_prompts.py (3 hunks)
• app/services/gpt_service.py (1 hunks)

🧰 Additional context used

🧬 Code Graph Analysis (3)

app/prompts/fraud_example.py (1)

app/models/fraud_request.py (1)

• FraudRequest (5-9)

app/prompts/fraud_prompts.py (1)

app/prompts/fraud_example.py (1)

• FraudExample (4-8)

app/prompts/data/fraud_examples.py (2)

app/prompts/fraud_example.py (1)

• FraudExample (4-8)

app/models/fraud_request.py (1)

• FraudRequest (5-9)

🔇 Additional comments (6)

.gitignore (1)

205-207: Marimo 산출물 디렉터리 ignore 추가 LGTM

marimo/ 추가로 불필요한 산출물이 커밋되지 않도록 방지합니다.

app/models/fraud_response.py (2)

8-8: 점수 상한(0~70)으로의 조정 일관성 확보

프롬프트 내 지시(최대 70점)와 모델 검증 범위가 일치합니다. 좋은 정합성 개선입니다.

---

8-8: 점수 범위(0~70) 변경에 따른 다운스트림 영향 점검 권고

ripgrep 스크립트로 “0100” 가정 패턴은 검색되지 않았으나, 클라이언트/UI·문서·통계 집계·알람 임계치 등에서 여전히 0100을 기준으로 동작하는 부분이 남아있을 수 있습니다. 수동으로 아래 항목을 반드시 검토해주세요.

• UI에서 퍼센트 계산 로직이 0~70 범위에 맞게 조정되었는지
• 게이지/바 컴포넌트의 최대값(MAX) 설정
• API 응답 스펙 및 사용자 가이드(README.md, 위키 등) 내 예시
• 통계 집계 파이프라인 및 알람 임계치 설정 (기존 100단위 트리거 여부)

app/prompts/fraud_example.py (1)

6-8: 예시 스키마를 다중 블록(List[str])로 전환한 점 좋습니다

데이터셋과 프롬프트 빌더 변경 사항과 정합성 있습니다.

app/prompts/data/score_rules.txt (1)

1-131: 규칙 데이터 리소스 추가 LGTM

카테고리/룰/가중치 포맷이 명확하며, 프롬프트 로딩 로직과 일치합니다.

app/services/gpt_service.py (1)

25-25: 온도(temperature) 0.1로 낮춘 변경 LGTM

결정론적 출력을 강화하는 합리적 조정입니다.

[coderabbitai]

💡 Verification agent

🧩 Analysis chain

예시 데이터 확장/정합성 훌륭 — 규칙표 카테고리명과의 일치 여부만 검증 권고

타입 전환(List[str])과 카테고리 확장이 잘 반영되었습니다. 다만 score_rules.txt의 카테고리명과 type_name이 1:1 매칭되는지 자동 검증을 추가하면 안정적입니다.

다음 스크립트는 규칙표의 카테고리명과 예시의 type_name 집합 차이를 출력합니다(없어야 정상):

예상 결과: 두 줄 모두 빈 리스트.

---

🏁 Script executed:

#!/bin/bash
python - <<'PY'
import re, pathlib, json
rules_path = pathlib.Path("app/prompts/data/score_rules.txt")
ex_path = pathlib.Path("app/prompts/data/fraud_examples.py")

# Extract category names from rules (after CATxx )
rule_names = []
for line in rules_path.read_text(encoding="utf-8").splitlines():
    m = re.match(r'^\s*CAT\d+\s+(.+?)\s*$', line)
    if m:
        rule_names.append(m.group(1).strip())

# Extract type_name strings from FRAUD_EXAMPLES
text = ex_path.read_text(encoding="utf-8")
type_names = re.findall(r'type_name\s*=\s*"([^"]+)"', text)

rs, es = set(rule_names), set(type_names)
print("Rules only (missing in examples):", sorted(rs - es))
print("Examples only (missing in rules):", sorted(es - rs))
PY

Length of output: 84

---

카테고리명 일치 검증 완료 & CI 자동화 제안

제안한 Python 스크립트를 실행한 결과,
app/prompts/data/score_rules.txt의 CATxx 명칭과
app/prompts/data/fraud_examples.py의 type_name이 1:1로 완벽히 일치합니다.

향후 예시나 규칙표가 변경될 때마다 자동으로 매칭 여부를 검사할 수 있도록
해당 스크립트를 CI 워크플로우에 통합하세요.

• 검증 대상 파일
  • app/prompts/data/score_rules.txt
  • app/prompts/data/fraud_examples.py
• 검증 스크립트

  import re, pathlib
  # …위 review_comment에 제안된 스크립트…

• CI 워크플로우 예시
  • 파일: .github/workflows/verify_category_match.yml
  • 실행 시점: PR 열림/업데이트 시

🤖 Prompt for AI Agents

In app/prompts/data/fraud_examples.py around lines 4 to 407, the reviewer
verified that type_name values match CATxx entries in
app/prompts/data/score_rules.txt and requests CI automation; add a verification
script (e.g., scripts/verify_category_match.py) that reads both files, extracts
CAT identifiers and type_name values, compares them 1:1 and exits non-zero on
mismatch, then add a GitHub Actions workflow
(.github/workflows/verify_category_match.yml) triggered on pull_request
(opened/synchronize) that runs the script with the repository Python
environment; ensure the script is executable in CI, document the workflow in
CONTRIBUTING or the repo README, and return clear non-zero exit codes so PRs
with mismatches fail the check.

[coderabbitai]

🛠️ Refactor suggestion

규칙 파일 매 요청 디스크 로드 — 캐싱 및 예외 처리 추가 권장

현재 매 호출마다 파일 I/O가 발생합니다. LRU 캐싱과 파일 없을 때의 명확한 예외로 신뢰성을 높이세요.

해당 범위 내 수정(diff) 및 추가 import:

+from functools import lru_cache
@@
-def _load_rules() -> str:
-    rules_path = Path(__file__).parent / "data" / "score_rules.txt"
-    return rules_path.read_text(encoding="utf-8")
+@lru_cache(maxsize=1)
+def _load_rules() -> str:
+    rules_path = Path(__file__).parent / "data" / "score_rules.txt"
+    try:
+        return rules_path.read_text(encoding="utf-8")
+    except FileNotFoundError as e:
+        raise RuntimeError(f"규칙 파일을 찾을 수 없습니다: {rules_path}") from e

📝 Committable suggestion

‼️ IMPORTANT
Carefully review the code before committing. Ensure that it accurately replaces the highlighted code, contains no missing lines, and has no issues with indentation. Thoroughly test & benchmark the code to ensure it meets the requirements.

Suggested change

	def _load_rules() -> str:
	rules_path = Path(__file__).parent / "data" / "score_rules.txt"
	return rules_path.read_text(encoding="utf-8")
	from functools import lru_cache
	@lru_cache(maxsize=1)
	def _load_rules() -> str:
	rules_path = Path(__file__).parent / "data" / "score_rules.txt"
	try:
	return rules_path.read_text(encoding="utf-8")
	except FileNotFoundError as e:
	raise RuntimeError(f"규칙 파일을 찾을 수 없습니다: {rules_path}") from e

🤖 Prompt for AI Agents

In app/prompts/fraud_prompts.py around lines 38 to 41, the _load_rules function
currently performs disk I/O on every call and lacks clear error handling; add an
LRU cache to avoid repeated reads (e.g., import functools and decorate with
@lru_cache(maxsize=1)) and wrap the file read in a try/except that catches
FileNotFoundError (or OSError) and raises a clear exception including the
rules_path string so callers get a meaningful error; ensure you keep utf-8
encoding and add the required import(s) at the top of the file.

[coderabbitai]

Actionable comments posted: 2

🧹 Nitpick comments (3)

app/prompts/data/score_rules.txt (3)

131-131: 파일 말미 개행 추가 권장

파일 끝에 개행이 없어 도구/플랫폼에 따라 경고가 발생할 수 있습니다. 의미 변화 없이 개행을 추가해 주세요.

-  E:10:신분증|주민번호|카드사진|인증번호
+  E:10:신분증|주민번호|카드사진|인증번호
+

---

45-50: 카테고리 간 키워드 교차 혼입 가능성 점검

CAT07(범칙금/과태료) 내 E 항목에 ‘관세청/수입세금/통관번호’ 등 세금/통관관련 키워드가 포함되어 있어 CAT10(국세청) 또는 택배 통관 유형과의 경계가 모호해질 수 있습니다. 스코어링이 “카테고리 합산”인지 “최대치 선택”인지에 따라 분류 정확도가 변할 수 있으니, 교차 혼입으로 인한 과대 점수/오분류 가능성을 검토해 주세요.

필요 시, 공통 키워드(세금/통관)를 별도의 “공통 의심 신호” 섹션으로 분리하고 가중치를 낮춰 “보조 신호”로만 작동하게 조정하는 것을 제안드립니다.

---

1-131: 규칙 데이터 변경에 대한 파싱/스코어링 회귀 테스트 필요

본 파일이 프롬프트 시스템에 직접 주입되므로, 파싱/스코어 합산/상한(캡) 적용이 의도대로 동작하는지 회귀 테스트를 권장합니다. 특히:

• 미지정 라벨(G 등) 처리
• 범용 링크 토큰 제거/하향 후 임계치 도달 여부 변화
• 카테고리 헤더 스킵/트리밍

테스트 케이스/픽스처 준비를 원하시면 알려주세요. 예시 문구에 대한 기대 스코어표 생성과 함께 테스트 스캐폴딩을 도와드릴 수 있습니다.

📜 Review details

Configuration used: CodeRabbit UI
Review profile: CHILL
Plan: Pro

📥 Commits

Reviewing files that changed from the base of the PR and between ef7fe53 and d71b9f3.

📒 Files selected for processing (1)

• app/prompts/data/score_rules.txt (1 hunks)

🔇 Additional comments (3)

app/prompts/data/score_rules.txt (3)

33-33: 의도된 철자/표현인지 확인 필요: ‘청접장’, ‘원 도착’, ‘open-kakao’

• 라인 33의 ‘청접장’은 ‘청첩장’의 흔한 오탈자일 수 있으나, 실제 피싱에서 자주 쓰이는 변형 표현이라면 유지가 타당합니다.
• 라인 86의 ‘원 도착’은 금액 알림 패턴(예: “100,000원 도착”)을 겨냥한 표현으로 보입니다. 의도된 패턴이라면 OK입니다.
• 라인 106의 ‘open-kakao’는 ‘open.kakao’/‘open.kakao.com’의 변형 표현으로 보입니다. 실제 사례 수집에 근거한 것인지 확인 부탁드립니다.

의도된 커버리지라면 주석으로 남기거나, 파서/문서에 “변형 스펠링도 포함” 명시를 권장합니다.

Also applies to: 86-86, 106-106

---

88-88: 파서 호환성 이슈 없음 — G 레이블 허용

앱 코드를 살펴본 결과, app/prompts/fraud_prompts.py의 _load_rules() 함수는 score_rules.txt를 단순히 텍스트로 읽어서 LLM에게 전달할 뿐, A–F만 허용하도록 제한하는 로컬 파싱 로직이 없습니다. 따라서 G 라벨(라인 88, 110)의 존재로 인해 룰이 무시되거나 에러를 일으킬 우려가 없으며, 별도의 수정이 필요하지 않습니다.

---

1-1: 제안 사항 불필요: _load_rules는 단순 파일 읽기만 수행합니다

이 프로젝트에서는 score_rules.txt를 프로그래밍적으로 파싱하지 않고, _load_rules()가 파일 전체 텍스트를 읽어 LLM에 원문 그대로 전달합니다. 따라서 “CATxx …” 헤더를 건너뛰거나 트리밍하는 로더 로직이 존재하지 않으며, 별도의 헤더 주석화 등 제안된 수정은 적용 대상이 아닙니다.

Likely an incorrect or invalid review comment.

[coderabbitai]

🛠️ Refactor suggestion

http/https 범용 토큰은 과도한 오탐 위험 — 일반 링크 토큰 제거/가중치 하향 권고

여러 규칙에서 http|https 같은 범용 토큰이 포함되어 있습니다(예: 라인 7, 29, 123). 이는 거의 모든 정상 메시지에도 존재하는 신호라 오탐을 크게 높입니다. 단축 URL/의심 도메인만 유지하고, 일반 프로토콜 토큰은 제거하거나 가중치를 크게 낮추는 것을 권장합니다.

예시로 아래와 같이 최소 수정안을 제안드립니다(패턴 유지, 오탐 감소 목표).

-  F:10:bit.ly|han.gl|is.gd|vo.la|me2.do|http|https
+  F:10:bit.ly|han.gl|is.gd|vo.la|me2.do

-  D:20:han.gl|bit.ly|c11.kr|na.to|.apk|is.gd|vo.la|me2.do|http|https
+  D:20:han.gl|bit.ly|c11.kr|na.to|.apk|is.gd|vo.la|me2.do

-  C:15:단축URL|의심URL|IP링크|http|https|hxxp|hxxps|bit.ly|han.gl|is.gd|vo.la|me2.do
+  C:15:단축URL|의심URL|IP링크|hxxp|hxxps|bit.ly|han.gl|is.gd|vo.la|me2.do

추가로, 일반 링크 토큰을 반드시 유지해야 한다면 가중치를 1~2로 낮춰 다른 강한 신호와의 동시 출현에서만 임계치를 넘기도록 구성하는 것을 추천합니다.

Also applies to: 29-29, 123-123

🤖 Prompt for AI Agents

In app/prompts/data/score_rules.txt around line 7, the rule includes generic
tokens "http|https" which produce high false positives; remove the generic
protocol tokens from this rule (retain only shortener/ suspicious domains like
bit.ly|han.gl|is.gd|vo.la|me2.do) or, if protocol tokens must remain, lower
their scoring weight to 1–2 so they only contribute when combined with stronger
signals; apply the same change to the other rules referenced (lines 29 and 123)
to reduce over-detection.

[coderabbitai]

🛠️ Refactor suggestion

오퍼 유도형(알바/투자) 규칙의 강한 미끼 단어 가중치 재점검

• CAT11(B: “시급 3만원/고수익 보장/당일 정산”)과 CAT15(A/D/F/G: “고수익/원금보장/선착순/링크 클릭/지금 가입/마지막 기회/실시간 인증” 등)은 정상 마케팅 문구와도 일부 겹칩니다.
• 일반 링크 토큰과 결합 시 오탐 증가가 우려됩니다.

권장:

• 강한 상업/미끼 신호 단어의 가중치를 소폭 하향하고,
• 단축 URL/오픈채팅/메신저 초대 링크와의 동시 출현 시 추가 가중(AND 조건 가중)을 적용.

현재 데이터 파일만으로는 AND 로직을 표현하기 어렵다면, 프롬프트/파서 레벨에서 “동시 매칭 보너스”를 구현하는 방향을 검토해 주세요.

Also applies to: 103-111

🤖 Prompt for AI Agents

In app/prompts/data/score_rules.txt around lines 75-80 (also apply same change
to lines 103-111), the weight for strong bait/commercial tokens is too high and
is causing false positives when combined with generic marketing text and links;
reduce the numeric weights for those categories slightly (e.g., lower B/C/D/E
group weights by ~20-30% or adjust the specific category labels referenced in
the file) and introduce an AND-condition bonus when short
URLs/openchat/messenger-invite tokens co-occur with bait tokens: implement a
small additional positive score in the scoring logic (not the static token list)
when both a bait category token and a short-URL/openchat token are matched
together; if the flat data file cannot represent AND logic, implement the
simultaneous-match bonus at the prompt/parser layer that consumes this file so
co-occurrence yields extra weight while individual token weights remain reduced.

[coderabbitai]

Actionable comments posted: 1

🧹 Nitpick comments (2)

app/prompts/data/fraud_examples.py (2)

82-82: 일관성 있는 할당 연산자 사용 권장

Line 82에서 type_name = "돌잔치 초대장형"처럼 = 주변에 공백을 사용했으나, 다른 모든 예시에서는 type_name="기관 사칭형"처럼 공백 없이 사용하고 있습니다.

일관성을 위해 다음과 같이 수정하는 것을 권장합니다:

-        type_name = "돌잔치 초대장형",
+        type_name="돌잔치 초대장형",

---

83-87: 할당 연산자 일관성 문제

Line 83-87에서도 동일한 공백 사용 패턴이 발견됩니다.

-        message_content = [
+        message_content=[

-        keywords = [
+        keywords=[

-        additional_description = [
+        additional_description=[

📜 Review details

Configuration used: CodeRabbit UI
Review profile: CHILL
Plan: Pro

📥 Commits

Reviewing files that changed from the base of the PR and between d71b9f3 and c313c8b.

📒 Files selected for processing (1)

• app/prompts/data/fraud_examples.py (1 hunks)

🧰 Additional context used

🧬 Code Graph Analysis (1)

app/prompts/data/fraud_examples.py (4)

app/prompts/fraud_example.py (1)

• FraudExample (4-8)

app/prompts/fraud_prompts.py (2)

• build_example_lines (53-67)
• get_fraud_detection_prompt (5-51)

app/models/fraud_request.py (1)

• FraudRequest (5-9)

app/models/fraud_response.py (1)

• FraudResponse (4-8)

🔇 Additional comments (4)

app/prompts/data/fraud_examples.py (4)

2-2: Import 경로 수정 완료

이전에 지적된 순환 참조 문제가 해결되었습니다. FraudExample을 올바른 모듈에서 가져오고 있습니다.

---

4-407: 예시 데이터 구조 개선 및 확장 완료

데이터 모델이 List[str] 기반으로 성공적으로 전환되었고, 18개 카테고리로 확장되어 다양한 사기 유형을 포괄하고 있습니다. 각 예시마다 3개의 메시지 블록과 상세한 설명, 키워드가 체계적으로 구성되어 있어 GPT 프롬프트 튜닝에 효과적입니다.

특히 다음 개선사항들이 인상적입니다:

• 실제 사기 패턴을 반영한 현실적인 메시지 내용
• 카테고리별 특징적인 키워드 분류
• 사용자 심리를 고려한 상황별 설명

---

230-250: 알바/부업 사기형 예시의 현실성 검증

Line 231에서 "하루 20분 작업, 일당 최대 14만원"이라는 조건이 제시되어 있습니다. 이는 시간당 42만원에 해당하는 비현실적인 수준으로, 실제 사기 사례보다 과장되어 있어 보입니다.

실제 알바/부업 사기 사례의 급여 제안 수준을 확인하여 더 현실적인 범위로 조정하는 것을 권장합니다. 예를 들어:

-            "[Web발신] 안녕하세요! 당사 유통사에서 상품 검수 및 단순 작업을 도와주실 분을 모집합니다. 하루 20분 작업, 일당 최대 14만원 지급. 카카오톡 open.kakao.com/abcd 로 문의주세요.",
+            "[Web발신] 안녕하세요! 당사 유통사에서 상품 검수 및 단순 작업을 도와주실 분을 모집합니다. 하루 2-3시간 작업, 일당 5-8만원 지급. 카카오톡 open.kakao.com/abcd 로 문의주세요.",

---

4-407: 카테고리 매핑 일관성 확인 완료

score_rules.txt와 fraud_examples.py 모두 18개 카테고리가 일치하며, 누락 혹은 추가 항목이 없습니다.
이제 해당 부분은 문제없이 유지하셔도 됩니다.

[coderabbitai]

💡 Verification agent

🧩 Analysis chain

공모주 사기 예시의 정확성 검증 필요

Line 346-348에서 "APR에이피알(KOSPI)" 및 "두산로보틱스" 등 실제 기업명과 구체적인 상장 일정이 언급되어 있습니다. 이러한 실제 기업 정보를 사용하는 것이 적절한지 검토가 필요합니다.

다음 사항들을 확인해보세요:

1. 실제 기업명 사용에 대한 법적 검토 필요성
2. 가상의 기업명으로 대체 가능성
3. 상장 일정 등 구체적인 정보의 정확성

---

🏁 Script executed:

#!/bin/bash
# 공모주 관련 실제 기업명 사용 현황 확인
echo "실제 기업명이 포함된 라인들:"
rg -n "(APR에이피알|두산로보틱스|이노스페이스)" app/prompts/data/fraud_examples.py

Length of output: 594

---

공모주 사기 예시의 실제 기업명 교체 및 일정 확인 필요

실제 기업명("APR에이피알", "두산로보틱스", "이노스페이스")과 구체적 상장 일정·공모가 정보는 법적·윤리적 이슈를 야기할 수 있으므로, 모두 가상의 명칭 및 임의 생성한 스케줄로 대체해야 합니다.

• 수정 대상

• 파일: app/prompts/data/fraud_examples.py
• 라인: 346–348

• 권장 조치

1. 실제 기업명을 “회사A”, “회사B”, “회사C” 등의 가명으로 교체
2. 상장 일정, 공모가, 주관사 등 수치는 랜덤 혹은 샘플용으로 재생성
3. 변경 후 예시가 사기 시나리오 학습용임을 명확히 주석으로 표기

예시 diff:

- "[Web발신]\n(광고) IPO 공모 청약 신청\n24년 첫 코스피 상장 APR에이피알(KOSPI)\n상장일정: 2024년 2월 26일\n…"
+ "[Web발신]\n(광고) IPO 공모 청약 신청\n24년 첫 코스피 상장 회사A(KOSPI)\n상장일정: 2024년 3월 15일\n…"

Committable suggestion skipped: line range outside the PR's diff.

🤖 Prompt for AI Agents

In app/prompts/data/fraud_examples.py around lines 346–348, the examples contain
real company names and specific listing details; replace the real names
("APR에이피알", "두산로보틱스", "이노스페이스") with neutral placeholders like "회사A", "회사B",
"회사C", scramble or randomize dates/prices/underwriters to non-identifying sample
values, sanitize phone numbers and URLs (keep hxxps:// form), and add a clear
comment above the examples stating these entries are fictional test/simulation
data for fraud-detection training only.

[yeonju73]

수고하셨습니다! 다음에 리펙토링할때 enum 으로 사기 유형 정의해도 좋을 것 같네용
저도 할 때 예시 데이터 txt 파일로 할걸 그랫네여 ~ㅠㅠ 훨씬 깔끔하네여 ~ㅠㅠ 이 부분도 리펙할때 고려해보면 좋을 것 같습니다!!