MOJO
首页
活动
项目展示
登录
Anime AI Studio-一站式AI漫剧创作agent
已通过
查看项目
https://www.animeaistudio.com/zh/agent
查看源码
https://github.com/xiaoliangliang/anime-ai-studio
一、项目概述项目名称:Anime AI Studio-一站式AI漫剧创作agent一句话简介:一个可追踪、可暂停、可局部重生成的动漫短剧生产 Agent,把一句创意自动推进为剧本、分镜、关键帧和镜头视频。目标用户/使用场景:独立开发者:用最少人力完成从创意到视频样片的闭环验证AI 短剧团队:把跨阶段协作压缩到单工作台,减少沟通损耗内容工作室/MCN:批量运行短剧任务,并按镜头粒度快速修复失败项产品与运营团队:在上线前通过 checkpoint 审批把控质量、节奏与预算二、技术架构核心版本/框架:Next.js 16.0.7(App Router)React 19.2.1TypeScript strict技术栈:运行环境:Node.js(建议 20+) + pnpmAgent 运行时:TypeScript 实现的分段式 Tool-Calling Loop(src/shared/services/agent/runtime.ts)LLM 调度:控制模型(Control Model):Pollinations Chat(通过 OpenAI 兼容接口)内容阶段(1-3):调用 /api/drama/chat,默认强制 provider: pollinations通信协议:前端与服务端 HTTP(REST + JSON),服务端与模型 HTTP数据存储:Drizzle ORM,支持 PostgreSQL / MySQL / SQLite鉴权体系:better-auth(所有 /api/agent/run/* 受登录保护)国际化:next-intl(中英文)部署平台:Vercel(生产环境)Agent Network 设计思路:采用“单 Orchestrator + 多专用工具”的架构,不把全部逻辑写死在前端。核心原则:单一控制面:由一个控制模型负责决策,所有副作用必须走工具分段执行:每次 /api/agent/run/step 只跑有限轮次,避免单次请求无限膨胀可恢复:run 状态、事件、消息、checkpoint 全量持久化,支持恢复继续可治理:高成本动作前强制 checkpoint,先看预估积分再继续可追溯:runId + stepId + projectId + operationId 全链路关联系统架构图:┌─────────────────────────────────────────────────────────────────────────────┐ │ Anime AI Agent Workbench │ │ │ │ Browser UI (/agent, /agent/runs, /agent/runs/{runId}) │ │ │ │ │ ▼ │ │ POST /api/agent/run/step ────────────────┐ │ │ │ │ │ │ ▼ │ │ │ Agent Runtime (tool-calling loop) │ │ │ - control model decision │ │ │ - tool.call / tool.result events │ │ │ - checkpoint gate + budget guard │ │ │ │ │ │ │ ├── generate_screenwriter_stage ─┐ │ │ │ ├── generate_storyboard_stage ├──►│ /api/drama/chat (stage 1-3) │ │ └── generate_image_designer_stage ┘ │ │ │ │ │ │ │ ├── generate_reference_images │ │ │ ├── generate_keyframe_images │ │ │ └── generate_shot_videos │ │ │ ▼ │ │ Drizzle DB: drama_agent_run / drama_agent_run_event / drama_project │ │ │ │ │ ▼ │ │ Workspace Preview (/workspace/{projectId}) + Run Timeline Replay │ └─────────────────────────────────────────────────────────────────────────────┘三、智能体设计Agent 角色与功能说明(按“工具角色”拆分):Orchestrator(总控 Agent)类型:TypeScript Runtime + Control Model职责:读取项目快照、决定下一步工具调用、维护运行状态机关键能力:自动循环推进、无工具调用时自动 nudge、达成目标后自动完结Screenwriter Tool(编剧工具)类型:Runtime Tool → /api/drama/chat职责:生成第一阶段剧本结构化数据并落库输出:screenwriter 阶段产物 + 对应事件日志Storyboard Tool(分镜工具)类型:Runtime Tool → /api/drama/chat职责:基于剧本生成镜头级分镜输出:storyboard 阶段产物 + 进度状态Image Designer Tool(图像提示词工具)类型:Runtime Tool → /api/drama/chat职责:生成角色/场景/镜头提示词,准备后续视觉生成输入输出:imageDesigner 阶段结构化提示词Artist Toolset(参考图/关键帧工具组)类型:Runtime Tool(图像生成)职责:生成参考图与关键帧;支持按编码局部重生(如 R-P01、S01-01-1)输出:artist 阶段图片资产Director Toolset(镜头视频工具组)类型:Runtime Tool(视频生成)职责:把关键帧推进成镜头视频;支持按镜头号局部重生(如 S01-01)输出:director 阶段视频资产多角色协作机制:通信方式:模型通过 tool_calls 发出指令,服务端执行工具后回填结果继续推理编排模式:单循环多工具,严格限制 maxToolCalls / maxModelTurns / maxWallTimeMs上下文传递:所有事件携带 runId、stepId,关键生成链路带 operationId高级特性使用:Checkpoint Gate:before_images / before_videos / over_budget / reset事件回放:run.status、llm.*、tool.*、checkpoint.*、error运行锁:acquireDramaAgentRunLock 防并发踩踏幂等与并发控制:阶段生成链路使用 operationId + stage lock局部重生成:失败项可精准修复,避免全链路重跑四、协作场景与创新点协作场景描述:系统模拟了“制片协作闭环”:用户给出创意后,Agent 自动完成剧本、分镜、图像提示词、参考图、关键帧、镜头视频的跨阶段推进;在高成本节点暂停给人审确认;当局部失败时,仅重跑失败资产并保留已完成成果。创新性体现:编排创新:单 Agent + 专用工具链不是前端硬编码阶段跳转,而是运行时工具调用决策保留 LLM 灵活性,同时用工具边界保证行为可控决策创新:成本可见的 checkpoint 治理检查点不仅“暂停”,还展示预计积分、单价、数量、模型、供应商用户可基于预算与质量做实时决策修复创新:镜头级局部重生支持针对参考图/关键帧/镜头视频单点重跑失败修复从“整链路回滚”降级为“局部手术”可观测性创新:结构化事件时间线全程事件化落库,前端可回放完整运行轨迹对排障、复盘、策略迭代极其友好稳定性创新:分段执行与锁机制每步有限执行 + run 锁,避免并发重复执行与状态污染对前台执行模型更安全、更可控五、实际应用价值解决的问题:工具割裂:从剧本到视频跨多个工具,内容上下文易丢失成本失控:高成本阶段缺乏统一门控失败代价高:单镜头失败常导致整链路重跑难复盘:没有结构化事件日志时,问题无法快速定位可扩展性:Provider 扩展:可继续扩展多模型、多供应商策略策略扩展:可加入按阶段/复杂度动态路由与参数策略评测扩展:可接入离线回归、质量标签、策略 A/B反馈扩展:可补齐反馈标注台与样本回流闭环未来延伸方向:Durable 后台执行:从“前台执行”升级到“后台耐久任务”策略路由层:stable/aggressive 可切换策略并做指标对比自动回归门禁:新策略上线前跑黄金样本,劣化即阻断生产分析看板:按 run/stage/model 展示完成率、重试率、积分效率六、团队与分工团队成员:李鹏亮(个人开发者)分工说明:架构设计:Agent Runtime、工具调用循环、状态机与持久化模型后端实现:/api/agent/run/*、/api/drama/chat、模型与积分链路整合前端实现:/agent 工作台、运行列表、详情时间线、产物树与预览稳定性治理:锁机制、幂等控制、事件日志、错误恢复文档与方案:需求文档、技术方案、迭代路线与参赛材料七、遇到的挑战与解决方案挑战 1:Agent 执行链路容易不可控问题:如果让模型自由输出,容易出现“只说不做”或乱改数据解决:强制“副作用必须经工具”,并通过工具参数 schema 约束执行面挑战 2:高成本阶段风险高问题:图片/视频阶段成本高,自动推进容易超预算解决:引入 checkpoint + 预算信息展示,用户审批后才进入高成本动作挑战 3:失败重试代价过大问题:单镜头失败导致整链路重跑,效率极低解决:支持 R-Pxx / Sxx-xx-x / Sxx-xx 粒度的局部重生成挑战 4:并发导致状态串线问题:重复点击或并发请求可能触发重复执行和状态污染解决:run 级锁 + stage lock + operationId 幂等,保证同一 run 串行推进挑战 5:难以复盘与调试问题:传统日志无法解释“为何停住/为何失败”解决:结构化事件流落库并在前端回放,做到全链路可追踪八、未来展望短期(1-3个月):视频预览和剪辑功能支持更多AI图像/视频模型接入分镜表导出为PDF/Excel用户登录和云端同步中期(3-6个月):语音/配音生成集成字幕自动生成多人协作功能素材库和模板市场长期(6-12个月):完整视频时间线编辑器自动剪辑和转场一键发布到各平台AI续写/改写功能技术演进:• 支持更长视频生成(突破10秒限制)• 角色一致性优化• 实时协同编辑长期愿景:打造“动漫内容生产 Agent OS”:从创意输入、质量治理、成本控制到规模化交付,形成可持续迭代的数据驱动闭环。项目仓库:https://github.com/xiaoliangliang/anime-ai-studio公开访问地址:https://animeaistudio.com/价值主张:一句话进入生产流,分钟级完成从剧本到镜头视频的可控交付。
项目截图
3分钟的视频demo,要求最好是有双语字幕
https://www.bilibili.com/video/BV1aDAYzMEz2
额外抽奖
https://x.com/lpngling5/status/2027803516216217732
创建者:李鹏亮
创建时间:2026年2月28日
活动详情
Rebel in Paradise AI 黑客松
查看活动详情
活动
2026年1月19日
团队成员
李
李鹏亮
队长
团队名称: 氛围九天