Yuan Gao / Writing 关于

Human-in-the-Loop 产品的构建复盘

17 分钟阅读 原创

  1. 先说清楚这篇文章在讲什么

经历过25年"AI first", "all in AI"的浪潮，到财年结束，COO算账发现怎么AI方向的投入增加远远无法cover labor costs. 经过C位们讨论，从最高层又下发一道指令“探索human in the loop的全新产品方案”。看过我之前文章的朋友，应该知道我当时负责一款纯AI辅导学生的app，新的产品架构和开发模式迅速获得认可和dev内部的推广。然后老白男就来摘果子了，凸(艹皿艹 )，这帮B平时满嘴跑火车不干活，看到成果就插手露脸，公司那群ABC更是废物，只会跪舔。

所以，不幸的是，这个项目又扔我头上。

1. 一个实验，和两个反直觉的结论

我们做过一个内部测试：让 AI 和一位 Mentor，对同一份essay给出几乎一模一样的反馈，只是传递给用户的形象和渠道不同——

"Your content is strong overall, but it still needs to be more closely connected to your long-term goals."

结果很有意思：

  • AI 说这句话，用户觉得"又是套话"，划走了；
  • 同一位 Mentor 说这句话，用户截图发群聊，说"一针见血"。

反馈一字不差，但附着在反馈上的"可信度"天差地别。

这让我得出两个结论：

结论一：可信度不对称是这类产品的隐藏变量。用户买的从来不是"信息"，而是"我该信谁"。

结论二：其实早被验证过了。法律、会计里，大量分析性 groundwork 是初级员工、甚至软件做的；但客户最终付钱的，是那个把名字签在产出物上的资深人士的判断与信誉。AI 做重复性体力活，真人做"背书"——这就是 Human-in-the-Loop 的本质。

我们的产品哲学，就是顺着这两点定的：AI 负责 scoring 与 analysis（结构化、可规模化），Human Mentor 负责Premium services、strategy roadmap 与 QC。

2.去掉login wall，提高自然流量留存

当我们团队接手asset时，看到SEO后台显示一半的流量来自india，内心是崩溃的，然后漏斗模型中83%的流失率，分析发现因为使用任何功能都要先走survey flow导致用户没耐心完成，所以我们做了一些调整。

  • 用Profiles Library+ School search arithmatic做hook，用户直接能看、能测；
  • 只有当用户想 保存测评结果或解锁完整报告时，才触发注册；
  • 注册完成后，用户被 seamless bridge进 Webapp Workspace，数据自动合并，不丢上下文。

达到的目的流量，在体验到 AI 能力之前不再流失。先把人钩住、再要身份——顺序调反，转化逻辑就通了。

3. 用户不信任 AI 的反馈

即便 AI 给出的诊断在技术上正确，用户也倾向于质疑或忽略它。我们判断，这不是模型能力问题，而是"谁说的"决定了"分量多重"。

我们做了什么？直接把 Human-in-the-Loop 写进付费层的产品定义：

  • Free Tier（免费层）：AI 可以打分、可以生成 roadmap，但只给数字、不给文字反馈。我们的考虑是，一个分数足以让用户好奇"我到底差在哪"，但又不给足够上下文——这一下，自然桥接到了付费。
  • Paid Tier（付费层）= Human Feedback 全包：AI 完成全部 scoring 与 analysis，但核心的 written feedback 必须由 Mentor 产出。我们内部明确过：哪怕 AI 能力已经够用，付费版的关键反馈也坚持真人写，因为 AI 书面反馈容易显得 generic，用户会本能地 dismiss。

守住质量底线，确定"AI + 真人"的 hybrid 定位。这条线后来也被证明对商业化关键——纯 AI + 一次性付费模式天花板很低，而 AI + Human 混合模式 ARPU 更高、续费更稳，在融资叙事里也明显更"能讲"。

4.做好市场调研和竞品分析

  1. Severe Feature Commoditization

The market is experiencing significant feature parity. Simply positioning around “AI-powered” capabilities or “24/7 availability” is no longer differentiated. These have become baseline expectations rather than competitive advantages.

  1. Marketing Is the Primary Growth Lever

The highest-traffic products are not necessarily the most sophisticated—they are the most visible. Platforms with strong acquisition engines, particularly via TikTok and Instagram, consistently outperform in user volume. Distribution appears to be a stronger determinant of growth than product depth in early stages.

  1. Data Depth as a Core Marketing Asset

Comprehensive, proprietary datasets serve as powerful positioning tools. For example, Kollegio’s “1500+ school database” is not just a feature—it is their primary marketing hook. Scale and exclusivity of data significantly enhance perceived authority and trust.

  1. Human Credibility Still Matters

Perceived authenticity is critical. Products that associate themselves with real admission officers or verified human experts have a substantial trust advantage. The “human touch” remains a strong conversion driver, especially in high-stakes decisions like college admissions.

  1. Pure AI, One-Time Payment Models Lack Venture Appeal

Standalone AI tools with one-time pricing models appear to have limited revenue scalability and weak investor appeal. In contrast, AI + Human hybrid models are significantly more fundable. The integration of human services increases ARPU and supports recurring revenue models.

  1. Interview Preparation Is Becoming Table Stakes

Interview prep functionality is proliferating rapidly and will likely become a standard feature across platforms. Differentiation here will require either deeper personalization or verified human feedback loops.

  1. Timeline & Reminder Systems Reduce Anxiety (High Engagement Driver)

Students are highly sensitive to missing deadlines. Timeline tracking and proactive reminders reduce anxiety and increase daily engagement. This functionality aligns well with student behavioral patterns and should be considered core infrastructure, not an add-on.

  1. Mobile-First Is the Future

User behavior increasingly favors mobile-native experiences. Products that are not optimized for mobile risk long-term relevance loss, particularly among Gen Z users.

  1. “Chance Me” as a High-Converting Entry Point

Most platforms use “Chance Me” assessments as the top-of-funnel hook to drive registration. The typical structure:

  • Free basic assessment
  • Paid access to full analytics or human consultation

This freemium → paid conversion pathway appears to be the dominant monetization model.

  1. Emergence of Micro-Consulting

A new service model is emerging: Micro-Consulting. Users seek answers to highly specific, narrow questions (e.g., one essay topic, one extracurricular decision, one school strategy). They are willing to pay for targeted AI or human responses without committing to a full counseling package.

This model may represent a scalable middle ground between:Low-ticket AI tools + High-ticket full-service counseling。

5.human in the loop 如何规模化

使用兼职难以保证质量，容易引发客诉；专业mentor门槛高成本也高；此外还有组织内部的管理成本，也是需要考虑的隐性因素。所以我们打算通过AI提高服务下限。

以essay为例，我们把 Human Mentor 的角色定位从"无限改稿"改成 oversight，并用产品结构把可靠性问题消解掉：

每名学生，Mentor 先做 15 分钟付费备课，审阅AI-generated profile；一次 30 分钟 sync intro call，对齐策略与目标；之后所有 review / feedback 全部 async, AI挖掘insights，human只负责adjust（类似cursor的Y/N操作）。

同时AI增加automated reminders，通过数据pipeline确定DDL，定期的checkin提醒，增加quality monitoring。通过这些辅助human能达到基本的服务要求。

在此基础上我们构筑的完整user journey：

综合考虑后续的收费链路，增加用户粘性，以及为实现human in the loop设计的业务流程图

6.怎么从"现有生态"里长出新模式

很多团队做 V2.0，第一反应是推倒重来。但我们手上有套现成资产：近 10 万社媒粉丝、一个持续运营的真实案例档案库、一个被验证的 ChanceMe 工具。直接扔掉太可惜。

我们做了什么？把这些资产当成 top-of-funnel 的 Freemium 钩子，而不是孤立的功能。具体落到feature list上：

  1. Profile Survey + School Selection：输入背景，AI 生成reach / target / safety 三档清单，而不是冷冰冰的"录取概率 %"。我们刻意把清单做得更慷慨、更真实——一个背景一般的用户，看到合理的tier作为 target，而不是遥不可及的 reach。
  2. The product features that are highly homogenized and lack competitiveness are sunset
  3. All-in-One Application Tracker：自动拉取 deadline、Material requirements，成为用户整个周期的"中央枢纽"。用得越久，粘性越强。
  4. AI Diagnostic Scores：只给分，不给文字。
  5. Multimodal Onboarding：支持 Voice / Chat / Files 三种方式补全 profile，降低填写门槛；
  6. Mission Control：按申请周期、国家、国际生身份自动模板化 to-do，用户可自定义；
  7. AI Copilot：用户用自然语言对话就能推进 tracker、更新进度；
  8. Proactive Intervention：AI 监控进度，一旦发现red flags（错过 DDL、长期无进展），自动 alert Mentor 介入；
  9. Alumni Net：成功用户被邀请回流、贡献自己的案例，反哺 Profiles Library——供给端越厚，获客钩子越强，形成 data flywheel。为此，我们需要搭建了OCR和数据脱敏的 workflow，完善原来的invoice流程。
  10. ......

7.Phase1的排期逻辑

V2.0 不是从零开始，而是在一套已经跑了两年、堆了不少"历史包袱"的旧体系上动刀。我们当时面对的核心难题不是"做什么"，而是"先做什么、又有什么必须在动手前清掉"——排期顺序一旦错位，任何一步都会变成新的 Debt。

① Historical Debt（P1，首月）

  • 把旧的"按次积分"体系向"订阅制"过渡：所有存量用户统一迁到免费档（每月含基础额度），未用完的积分按比例折算成档案解锁额度、且永不过期；
  • 重做dashboard，确保团队看到的才是真实数据，而不是被旧逻辑污染的报表；
  • 清洗旧档案库、审计 FAQ / Blog 的失效链接、隔离新旧用户与数据。

② Strategic Sunset（P0，首月）

  • 提前一个月在网站发公告，配"怎么导出你的历史内容 + 一键导出"指引；
  • 把essay编辑器切到只读、做数据打标与离线切换，让它平稳退场。

目的：它越"还有人用"，越会干扰我们对"AI + 真人"新定位的讲述。先断后路，团队才会真的往前走。这也是我们当时最纠结、但事后最庆幸的一个决定。

③ Data Flywheel（次月）—— 让供给端自己转起来

  • 重构 Profiles Library 的解锁逻辑：少量样本免费看、完整内容走积分或订阅；
  • 更关键的是供给策略的转变：从"交易式投稿"转向"志愿者式贡献"——先从外部名校校友社区引入，再逐步吸纳自家成功用户；允许脱敏、匿名，把话术从"你卖一份档案"改成"你回馈社区"。
  • 配套多源材料文档的自动解析、去标识化与结构化存储。

④ 核心功能升级（次月，P2）

  • MVP 版测评先服务免费用户：让用户先选goal region，据此推送对应问题；砍掉与目标定位无关的问题；学生可自行添加school list并即时看到分析；
  • "Registers to View Result"：用户走完整个测评旅程后，才顺滑地触发注册（仅需 name / email / password，支持 Google 登录）。

⑤ MVP Webapp（持续）—— 把新地基一砖一瓦垒起来，并用 "coming soon" 守住范围

为防止stakeholder频繁变动需求，我们明确划出了 Phase1的边界：

  • 本期做：Profile Center、Academic Dashboard（可编辑 GPA、上传标准化考试分数、补充科研 / 活动经历）、Mission Control、Application Tracker（带邮件 / 站内提醒、里程碑自动追踪）；以及 website → webapp 的 seamless bridge（通过vibe coding提升开发效率）、免费账号 auto-login；
  • 显式标记 "coming soon"：内容创作 Hub、课外活动工具、honors、Human Packages、AI Feedback。

我们做的所有重构，本质上都在回答一个问题：

怎么让"可信的人"，以"可负担的成本"，出现在用户最需要的那个时刻？

Human-in-the-Loop，是我们目前找到的最接近答案的解法。

这篇文章不是总结，是阶段性的自检。

如果你也在做 AI+Human hybrid/ Human in the loop 的产品，欢迎交流

下一篇准备写关于近期使用的一些AI产品的体验：微信的xiaowei，openai voiceAI