Commit Graph

104 Commits

Author SHA1 Message Date
MerCry dd1c6aba14 feat: enhance metadata handling and document processing
- Add metadata field to Document type for frontend
- Add type field to MetadataFieldUpdateRequest
- Update KB API with URL decode support for Chinese filenames
- Enhance metadata auto inference service
- Improve metadata field definition service
- Update .gitignore to exclude logs and snapshots
2026-03-12 12:45:54 +08:00
MerCry 51d8de0621 fix(AISVC): 修复 Docker Python 版本并添加缺失依赖 [AC-AISVC-01]
- 修改 Dockerfile 使用 Python 3.10.11 替代 3.11

- 添加缺失的 jsonschema 依赖到 pyproject.toml
2026-03-11 19:49:04 +08:00
MerCry ee79b40503 [AC-DOCS] docs: 更新元数据和检索策略文档
- 更新 metadata-slot-prompt-recommendation.md 元数据槽位提示词推荐
- 更新 v0.9.0 检索嵌入策略规范文档
- 更新需求文档、设计文档和任务文档
2026-03-11 19:41:18 +08:00
MerCry 60e16d65c9 [AC-MIGRATION] feat(db): 新增用户记忆迁移和工具脚本
- 新增 003_user_memories 迁移脚本支持用户记忆表
- 新增 clear_kb_vectors 脚本用于清理知识库向量
- 新增 svg 资源目录
2026-03-11 19:11:44 +08:00
MerCry a6276522c8 [AC-TEST] test: 新增单元测试和集成测试
- 新增 test_image_parser 图片解析器测试
- 新增 test_llm_multi_usage_config LLM 多用途配置测试
- 新增 test_markdown_chunker Markdown 分块测试
- 新增 test_metadata_auto_inference 元数据推断测试
- 新增 test_mid_dialogue_integration 对话集成测试
- 新增 test_retrieval_strategy 检索策略测试
- 新增 test_retrieval_strategy_integration 检索策略集成测试
2026-03-11 19:10:05 +08:00
MerCry 1490235b8f [AC-API-UPDATE] feat(api): 更新 API 端点和实体模型
- 更新 dialogue API 支持新的对话功能
- 更新 share_page API 优化分享页面
- 更新 main.py 注册新的路由模块
- 更新 entities 模型添加新字段
2026-03-11 19:07:03 +08:00
MerCry 9196247578 [AC-METADATA-INFERENCE] feat(metadata): 新增元数据自动推断服务
- 新增 metadata_auto_inference_service 实现元数据自动推断
- 新增 kb_metadata_inference 提供知识库元数据推断工具
- 支持从文档内容自动提取元数据字段
- 集成缓存机制提升推断效率
2026-03-11 19:06:21 +08:00
MerCry b3343f9e52 [AC-RETRIEVAL-STRATEGY] feat(retrieval): 新增检索策略路由服务
- 新增 strategy_service 实现检索策略路由核心逻辑
- 新增 strategy_metrics 提供策略性能指标收集
- 新增 strategy_audit 提供策略审计日志功能
- 新增 retrieval_strategy API 端点支持策略管理
- 支持多种检索策略的动态切换和监控
2026-03-11 19:02:40 +08:00
MerCry 6fec2a755a [AC-AGENT-ENHANCE] feat(mid): 增强 Agent 编排器和工具
- 优化 agent_orchestrator 的系统提示词指导
- 改进 kb_scene 参数的自动注入逻辑
- 增强 kb_search_dynamic_tool 的元数据处理
- 优化 memory_recall_tool 的记忆召回逻辑
- 更新 memory_adapter 的用户记忆模型
2026-03-11 19:01:51 +08:00
MerCry e45396e1e4 [AC-MEMORY-SUMMARY] feat(mid): 新增对话记忆摘要生成器
- 新增 MemorySummaryGenerator 用于生成对话摘要
- 新增 memory_summary_prompt 提供摘要生成提示词模板
- 支持将长对话历史压缩为简洁摘要
- 更新 mid 服务模块导出
2026-03-11 19:01:06 +08:00
MerCry e9de808969 [AC-KB-ENHANCE] feat(kb): 增强 KB 向量日志和元数据过滤功能
- 新增 KB 向量日志配置项 kb_vector_log_enabled 和 kb_vector_log_path
- 新增 KB 向量日志记录器支持滚动日志文件
- 增强 Qdrant 元数据过滤支持操作符格式 (\, \)
- 支持 MatchAny 实现多值匹配
- 新增图片文件索引支持
2026-03-11 18:57:27 +08:00
MerCry 4de2a2aece [AC-DOC-PARSER] feat(document): 新增图片和 Markdown 解析器
- 新增 ImageParser 支持图片文件解析
- 新增 MarkdownParser 支持 Markdown 文件解析
- 新增 MarkdownChunker 实现 Markdown 智能分块
- 支持按标题、段落、代码块等元素类型分块
- 更新 document 模块导出和工厂方法
2026-03-11 18:56:43 +08:00
MerCry b3680bda8a [AC-LLM-MULTI] feat(llm): 实现 LLM 多用途配置功能
- 新增 LLMUsageType 枚举支持 chat 和 kb_processing 两种用途
- 扩展 LLMConfig 支持按用途类型存储不同配置
- 更新 LLMClient 接口支持 Any 类型的消息内容
- 新增管理后台 API 支持获取用途类型列表和按用途获取配置
- 更新前端 LLM 配置页面支持多用途配置切换
2026-03-11 18:56:01 +08:00
MerCry 7134ec3c5e [AC-AISVC-RES-09~15] config: 将默认运行时模式改为 AUTO
- 修改 ModeRouterConfig.runtime_mode 默认值从 DIRECT 改为 AUTO
- 系统将根据查询复杂度和置信度自动决定使用 ReAct 模式还是通用 API 模式
- 短查询 + 高置信度 -> 使用 DIRECT 模式
- 复杂查询或低置信度 -> 使用 REACT 模式
2026-03-11 00:03:25 +08:00
MerCry 1b71c29ddb [AC-AISVC-RES-01~15] docs(progress): 新增策略路由进度文档
- 记录会话进度
- 记录实现的模块和测试
- 记录变更历史
2026-03-10 21:09:23 +08:00
MerCry 4de51bb18a [AC-AISVC-RES-01~15] test(retrieval): 新增策略路由单元测试
- 新增 test_routing_config.py 路由配置测试
  - TestStrategyType: 策略类型枚举测试
  - TestRagRuntimeMode: 运行模式枚举测试
  - TestRoutingConfig: 路由配置测试
  - TestStrategyContext: 策略上下文测试
  - TestStrategyResult: 策略结果测试

- 新增 test_strategy_router.py 策略路由器测试
  - TestRollbackRecord: 回滚记录测试
  - TestRollbackManager: 回滚管理器测试
  - TestDefaultPipeline: 默认管道测试
  - TestEnhancedPipeline: 增强管道测试
  - TestStrategyRouter: 策略路由器测试

- 新增 test_mode_router.py 模式路由器测试
  - TestComplexityAnalyzer: 复杂度分析器测试
  - TestModeRouteResult: 模式路由结果测试
  - TestModeRouter: 模式路由器测试
- 新增 test_strategy_integration.py 集成层测试
  - TestRetrievalStrategyResult: 集成结果测试
  - TestRetrievalStrategyIntegration: 集成器测试

- 79 个测试用例全部通过
2026-03-10 21:08:49 +08:00
MerCry c0688c2b13 [AC-AISVC-RES-01~15] feat(api): 新增策略管理 API端点
- 新增 strategy.py 策略 API端点
  - GET /strategy/retrieval/current - 获取当前策略配置
  - POST /strategy/retrieval/switch - 切换策略配置
  - POST /strategy/retrieval/validate - 风险配置校验
  - POST /strategy/retrieval/rollback - 强制回滚到默认策略

- 更新 __init__.py 导出新模块
- 更新 main.py 注册 API 路由
2026-03-10 21:08:07 +08:00
MerCry c628181623 [AC-AISVC-RES-01~15] feat(retrieval): 实现检索策略路由核心模块
- 新增 routing_config.py 路由配置模型
  - StrategyType: DEFAULT/ENHANCED 策略类型
  - RagRuntimeMode: DIRECT/REACT/AUTO 运行模式
  - RoutingConfig: 路由配置类
  - StrategyContext: 策略上下文
  - StrategyResult: 策略结果

- 新增 strategy_router.py 策略路由器
  - RollbackManager: 回滚管理器
  - DefaultPipeline: 默认检索管道
  - EnhancedPipeline: 增强检索管道
  - StrategyRouter: 策略路由器

- 新增 mode_router.py 模式路由器
  - ComplexityAnalyzer: 复杂度分析器
  - ModeRouter: 模式路由器

- 新增 strategy_integration.py 统一集成层
  - RetrievalStrategyIntegration: 策略集成器

- 更新 __init__.py 导出新模块
2026-03-10 21:07:01 +08:00
MerCry 7027097513 [AC-AISVC-RES-01~15] feat(retrieval): 实现检索策略Pipeline模块
- 新增策略配置模型 (config.py)
  - GrayscaleConfig: 灰度发布配置
  - ModeRouterConfig: 模式路由配置
  - MetadataInferenceConfig: 元数据推断配置

- 新增 Pipeline 实现
  - DefaultPipeline: 复用现有 OptimizedRetriever 逻辑
  - EnhancedPipeline: Dense + Keyword + RRF 组合检索

- 新增路由器
  - StrategyRouter: 策略路由器(default/enhanced)
  - ModeRouter: 模式路由器(direct/react/auto)

- 新增 RollbackManager: 回退与审计管理器
- 新增 MetadataInferenceService: 元数据推断统一入口
- 新增单元测试 (51 passed)
2026-03-10 20:50:16 +08:00
MerCry 42f55ac4d1 chore: add utility scripts and tool definitions for KB search and metadata testing [AC-UTILS] 2026-03-10 12:11:55 +08:00
MerCry 3b354ba041 feat: add metadata discovery tool for dynamic metadata extraction [AC-METADATA-DISCOVERY] 2026-03-10 12:11:31 +08:00
MerCry f4ca25b0d8 test: add unit tests and utility scripts for intent routing, slot management, and KB search [AC-TEST] 2026-03-10 12:10:22 +08:00
MerCry fe883cfff0 feat: update core backend services including LLM, embedding, KB, orchestrator and admin APIs [AC-AISVC-CORE] 2026-03-10 12:09:45 +08:00
MerCry 9769f7ccf0 feat: add slot management system with validation, backfill, state aggregation and scene bundle support [AC-SLOT-MGMT] 2026-03-10 12:07:39 +08:00
MerCry 248a225436 feat: implement mid-platform dialogue and session management with memory recall and KB search tools [AC-IDMP-01~20] 2026-03-10 12:06:57 +08:00
MerCry d78b72ca93 feat: enhance agent orchestrator with runtime hardening and tool governance [AC-MARH-01~12] 2026-03-10 12:06:15 +08:00
MerCry 66902cd7c1 feat: implement hybrid intent routing with RuleMatcher, SemanticMatcher, LlmJudge and FusionPolicy [AC-AISVC-111~125] 2026-03-10 12:05:35 +08:00
MerCry 3969322d34 fix: use correct attribute name system_instruction for version content [AC-IDSMETA-16] 2026-03-06 11:08:49 +08:00
MerCry b832f372d1 fix: resolve metadata field mapping and return current_content in prompt template update [AC-IDSMETA-16] 2026-03-06 11:06:08 +08:00
MerCry 95365298f2 feat: add timeout and retry configuration for LLM client [AC-AISVC-LLM] 2026-03-06 02:02:03 +08:00
MerCry 2504d6b955 feat: add configurable share link base URL for container deployment [AC-IDMP-SHARE] 2026-03-06 01:14:05 +08:00
MerCry 9198f4dfb3 feat: enhance prompt variable resolver with agent_react scene support [AC-IDMP-PROMPT] 2026-03-06 01:11:01 +08:00
MerCry f823e8fb86 feat: add API key management with entity model and service layer [AC-AISVC-APIKEY] 2026-03-06 01:10:42 +08:00
MerCry 5f4bde8752 feat: enhance agent orchestrator with runtime hardening and tool governance [AC-MARH-01~12] [AC-IDMP-11~18] 2026-03-06 01:10:24 +08:00
MerCry 978aaee885 fix: resolve datetime timezone comparison issues in share module [AC-IDMP-SHARE] 2026-03-06 01:07:46 +08:00
MerCry 382f91ce83 feat: add OpenAPI share page with device-bound tokens and thought/answer separation [AC-IDMP-SHARE] 2026-03-06 01:06:19 +08:00
MerCry 38130f7a27 test: add mid-platform service tests [AC-IDMP-01~20, AC-MARH-01~12]
- Add memory tool tests
- Add mid-platform services tests
2026-03-05 18:15:15 +08:00
MerCry c7c94e8cd9 feat: add database migrations for mid-platform tables [AC-IDMP-SHARE, AC-MARH-01~12]
- Add mid-platform tables migration (005_create_mid_tables.sql)
- Add shared_sessions table migration (006_create_shared_sessions.sql)
- Add migration helper scripts
2026-03-05 18:14:48 +08:00
MerCry b4eb98e7c4 feat: implement mid-platform core services and APIs [AC-IDMP-01~20, AC-MARH-01~12]
- Add dialogue, messages, sessions, share API endpoints
- Add mid-platform schemas and models (memory, tool_registry, tool_trace)
- Add core services: agent_orchestrator, policy_router, runtime_observer
- Add tool services: kb_search_dynamic, memory_adapter, tool_registry
- Add guardrail services: output_guardrail_executor, high_risk_handler
- Add utility services: timeout_governor, segment_humanizer, metrics_collector
2026-03-05 18:13:34 +08:00
MerCry 1b325f5aeb fix: 修复分享功能 datetime 时区比较错误和端口配置 [AC-IDMP-SHARE]
- 新增 _utcnow() 函数返回带时区的 UTC 时间
- 替换所有 datetime.utcnow() 为 _utcnow() 避免时区比较错误
- 修复 frontend_base_url 默认端口从 5173 改为 3000
- 修复 FastAPI operationId 参数命名为 operation_id
2026-03-05 17:38:46 +08:00
MerCry 5c1f311656 feat: implement Phase 2 API for metadata role separation [AC-MRS-01~16]
- Task 2.3: SlotDefinitionService with CRUD operations [AC-MRS-07,08]
- Task 2.4: Extend MetadataFieldDefinition API with by-role endpoint [AC-MRS-01,04,05,06,16]
- Task 2.5: SlotDefinition API with CRUD endpoints [AC-MRS-07,08,16]
- Task 2.6: Runtime slot API for mid platform [AC-MRS-09,10]
- Task 5.1: Unit tests for RoleBasedFieldProvider and SlotDefinitionService [AC-MRS-01~16]
2026-03-05 17:24:49 +08:00
MerCry 662ba2b101 feat: refactor template_engine to only consume prompt_var role fields [AC-MRS-14] 2026-03-05 17:19:53 +08:00
MerCry 6e7c162195 feat: refactor intent_hint and high_risk_check tools to only consume routing_signal fields [AC-MRS-13] 2026-03-05 17:19:16 +08:00
MerCry f9fe6ec615 feat: refactor memory_recall_tool to only consume slot role fields [AC-MRS-12] 2026-03-05 17:18:37 +08:00
MerCry 4bd2b76d1c feat: refactor metadata_filter_builder to use RoleBasedFieldProvider [AC-MRS-11] 2026-03-05 17:17:54 +08:00
MerCry 7fb7721974 feat: extend MetadataFieldDefinitionService with field_roles support [AC-MRS-01,02,03,06] 2026-03-05 17:12:26 +08:00
MerCry 0db2971c73 feat: implement RoleBasedFieldProvider service for role-based field queries [AC-MRS-04,05,10] 2026-03-05 17:12:06 +08:00
MerCry 68e5adaa28 feat: add Pydantic schemas for metadata field roles and slot definitions [AC-MRS-01,07] 2026-03-05 17:11:48 +08:00
MerCry 14d1737728 feat: add database migration for field_roles and slot_definitions [AC-MRS-01,07] 2026-03-05 17:11:36 +08:00
MerCry d534b4ef32 feat: extend MetadataFieldDefinition with field_roles and add SlotDefinition model [AC-MRS-01,02,03,07,08] 2026-03-05 17:10:09 +08:00