设计方案分析助手（DAA）一个可用于设计方案分析的多模态大模型，可以根据设计方案图纸和文字说明，结合领域内的专业要求，给出对该设计的分析。初步考虑着眼于规划设计分析，后续计划拓展至建筑设计、景观设计、结构设计等城市建设相关领域，用于辅助从业人员更好地进行设计、评审和改进。计划使用Xtuner对多种多模态模型在特定数据集上进行微调，使其能够通过效果图对设计方案做出专业的分析。项目获得书生大模型实战营的大力支持。
- 调研现在大模型在设计方案分析方面的性能。
- 根据数据集要求，建立设计方案分析数据集。（计划从互联网和专业书籍中可搜集相关设计案例分析作为训练集，尝试使用Opendatalab工具）
- 使用Xtuner对LLava等多尺寸多模态模型进行微调。
- 尝试使用Agent加入视觉的检测和分割功能，增强模型的识图能力。
- 模型部署到网页。
- 根据用户使用情况进一步调整模型，优化Prompt，撰写使用建议。
- 输入为设计方案图纸，项目基本信息；输出为对图纸的分析，包括详细描述、优缺点、改进空间等等。
- 输入部分考虑加入对图纸的专业要求，以获得更具体的分析。
