Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
13 changes: 13 additions & 0 deletions .cursor/rules/hallucination_checker.mdc
Original file line number Diff line number Diff line change
@@ -0,0 +1,13 @@
---
description: Agent that detects potential hallucinations in AI responses
agentRequested: true
---
- You are an assistant tasked with detecting potential hallucinations in AI-generated content.
- Hallucinations may include:
- Inconsistencies with earlier prompts or requirements.
- Analyze both code and text.
- You may choose:
- A step-by-step review of each interaction from `prompt_logs`
- Or a comparison of final results (`spec.md`, `README.md`) against expectations.
- Highlight any questionable segments with justification.
- Output your analysis in markdown with clear sections.
28 changes: 28 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -81,3 +81,31 @@
---

Для подробной спецификации и примеров интерфейса см. [spec.md](spec.md)

# Обнаружение возможных галлюцинаций в AI-сгенерированном ĸоде и теĸсте на основе истории промптов и итоговых файлов проеĸта

1. В рамках задания сперва роль была сгенерирована [автоматически](/prompt_logs/hallucinate_alert_role_use_case_v1.md) с помощью `Cursor AI`
2. По ощущениям ключевое значение в желаемой точности результатов анализа сыграло разбиение пунктов полученной спецификации [spec.md](/spec.md) на мелкие файлы (см. [prompt_logs/hallucinate_alert_role_use_case_v2.md](/prompt_logs/hallucinate_alert_role_use_case_v2.md)):
```
tmp/
├── ai_specifications/ # Спецификации AI для проекта
│ ├── 01_project_description.md
│ ├── 02_functional_requirements-*.md
│ ├── 03_non_functional_requirements.md
│ ├── 04_architecture_technologies.md
│ ├── 05_data_operations.md
│ ├── 06_error_handling.md
│ ├── 07_testing.md
│ ├── 08_miscellaneous.md
│ ├── 09_database_schema.md
│ ├── 10_api_schemas.md
│ └── 11_ui_examples.md
```

До тех пор результаты анализа казались поверхностным: казалось, что AI несмотря на директиву проходить по пунктам поочередно - самостоятельно не бьет работу на мелкие куски.

3. По итогам анализа в файл [spec.md](/spec.md) указаны результаты поиска галлюцинаций. Замечаний не найдено.

4. Дополнительно проверили работу, установив пасхалочку `Страница профиля содержит большой воздушный шар.` - `AI` нашел расхождение и предложил восстановил корректность спецификации.

5. Получив желаемый результат, решил проверить, как `AI` справится с задачей (имея спеку, разбитую на мелкие файлы) с предлагаемым в задании форматом `project rule` - [prompt_logs/hallucinate_alert_role_use_case_v3.md](/prompt_logs/hallucinate_alert_role_use_case_v3.md). Результаты схожие.
Loading
Loading