让 Claude 读完自己的文章,写一份风格指南,再拿这份指南去写稿。很多人都这么做过。
Mike Taylor 的实验结果很扎心:这种 Claude 写的风格指南,对上三种优化方法时,在 80% 到 95% 的测试文章上都输了。 换成 Opus 5.5 时更离谱,不加这份指南反而写得更像他本人。
Mike Taylor 是 Every 的评测负责人,也是 O'Reilly《Prompt Engineering for Generative AI》的合著者。他从 2020 年就开始折腾这件事,这篇文章是他六年试错后总结的完整流程。
2020 年,AI 写作工具 Copy.ai 给所有没进 Y Combinator 的人发免费的 GPT-3 账号。Mike 就是从那时候开始,尝试让 AI 模仿自己写作。
每出一个新模型,他就再试一次,效果一次比一次好。到 2023 年,他的 AI 写作流程已经能通过图灵测试:朋友和同事都看不出那些文章不是他亲手写的。
但他自己看得出来。
更难受的是,同事拿"他写的"文章来问问题,他认不出那些观点是自己的。
后来他慢慢形成了一套用 AI 写作的原则,比如专写训练数据里还没有、不写出来就没人会说的话题。流程也在进化:先用语音模式口述想法,再把多个草稿像拼乐高一样拼在一起,直到满意为止。
这样出稿快了,也没丢掉真实感。可读起来还是有一股 AI 味。让 Claude 根据他过去的文章生成一个写作 skill,也没改善多少。
于是他做了一系列实验。现在他有了一个叫 /write-like-mike 的写作 skill,这篇文章本身就是用它写的。他还有一套评测指标,能证明它确实有效。
效果很实在:每次他仍需要手动改几处(这篇文章的开头就是他自己重写的),但从有一个观点到成文,现在大约一小时,以前要花一整天。他给编辑的投稿频率从每月一篇变成了每周一篇,编辑那边的压力,成了他下一个要解决的问题。
多数人的写作 skill 是一份描述,自己写的,或者让 Claude 读几篇文章后总结的。
当起点没问题。问题在于停在这里,skill 里每条规则都只是"我大概是这么写的"的有根据猜测。
Mike 的方法,是把这些猜测变成一场可以检验的考试:这个 skill 写出来的东西,到底像不像你。
下面是六个步骤。
Mike 一开始收集了 185 篇自己的文章,共 33.5 万字,分布在 13 个平台上,最早可追溯到 2013 年。
其中 54 篇他刻意不让模型碰,留作最终考试。只有这批"没见过的题",才能判断 skill 学会的是风格,而不是背下了几篇文章。 道理和机器学习里的测试集一样,用训练过的题考试,分数再高也说明不了什么。
数量多也不一定好。他发现自己的文风这些年变了,只用最近 30 篇 Every 文章重新优化时,效果反而更好。
他的建议:挑一个平台或一种体裁,收集 12 到 25 篇已发表的作品。
没有写作样本怎么办?用最近 30 次会议的文字记录代替。Mike 认为,像说话一样写作,更能打动人。让一段有真实感的文字变正式,交给 AI 很容易;反过来让一段文字更像人话,难得多。
有一类素材不要用:推文和邮件。他试过,效果很糟。社交媒体和邮件的写法太依赖那个媒介,搬到长文里根本不成立。
他让模型从每篇文章里只提取核心内容:论点、大纲、每个事实、来源、轶事,以及理解故事所需的原话引用。
风格、措辞、开头钩子、笑话,统统去掉。
这样做的目的是控制变量。模型拿到了写这篇文章需要的全部信息,唯独缺风格。如果根据简报写出的草稿像 Mike,功劳就可以算在 skill 头上,也能拿来测试新 skill 是否更强。
这也意味着一个绕不开的前提:你得有真正的观点。 没什么有意思的话要说,再好的写作 skill 也救不了你。
Mike 提过一个概念,叫"蒸馏比":把你输入给 AI 的内容量,除以最终稿的长度。他认为只有输入 token 多于输出 token 时,AI 写作才站得住脚。想法必须是你的,AI 只负责用对的风格把它写出来。
Mike 以前的尝试,都栽在"怎么评分"这一步。
要优化 skill,或者证明它有用,就得成百上千次地判断"这段 AI 文字像不像你"。人工做不过来,必须交给 AI 裁判,而裁判本身得可靠。
最后奏效的方法,他称为成对黄金三元组评测:AI 裁判同时看三样东西,Mike 的原文,以及根据同一份简报生成的两份草稿,然后选出更接近原文的那一份。
有个坑要避开:AI 裁判偏爱先读到的那份草稿。所以每次比较都跑两遍,交换顺序。
裁判还要写一段点评,说明每份草稿和原文差在哪。比如有一条点评嫌某份草稿"有些出彩的插话",比原文"低调的语气"显得"稍微有点表演性"。这些点评就是后面优化器学习的材料。
裁判要选最稳定的。交换草稿顺序后,Opus 5.5 有 86% 的时候给出相同答案,Sonnet 5.5 只有 70%。Jev 有一半的时候会改主意,等于抛硬币,判断这种需要更高智力的创作类任务,它不合格。
Mike 对比了四种构建 skill 的方法。
第一种是常规做法:让 Claude(Fable 5.1)读他的文章,写一份风格指南。玩过 AI 写作的人多半这么干过。结果是一份看起来很像样的指令,但没有任何证据表明它能让模型写得更好。
另外三种是优化器。它们的工作方式是:写草稿,交给裁判评分,只有分数提高了,才保留对 skill 的修改。 三个优化器分别是:
结果就是开头那组数据:Claude 写的 skill,在 80% 到 95% 的测试文章上输给了三个优化器。对 Opus 5.5 来说,去掉这个 skill 反而表现更好,不带 skill 的 Claude 有 61% 的时候赢过带 skill 的 Claude。Mike 的解读是,Opus 5.5 本身写得就挺像他,加上这个 skill 弊大于利。
把几个 skill 放在一起对比,原因就清楚了。
Claude 写的 skill 读起来像 Mike 的"金曲合集":自嘲式幽默、一句话成段、"Here's the thing"这类引导语。模型被要求时时刻刻用上这些特征,写出来的就成了漫画式的 Mike,而不是真实的 Mike。
在一篇测试文章里,它让 Mike"在咖啡机旁徘徊,盼着有个有趣的人路过"。这种句子他从没写过。
这就像模仿一个人,只抓住他的几个口头禅,然后每句话都塞一个。熟人一听就知道是假的。
优化出来的 skill 则完全是另一副样子,里面全是从裁判点评里提炼出的纠错。比如智能体注意到,早期失败的版本总在写"整齐的编辑式总结"和"有冲击力的博客节奏",于是警告不要编造笑话,不要用"Here's the thing"。
Mike 用这些反馈重写 skill,再拿每篇文章重新测试,看是否纠正了之前的错误。针对具体案例说清哪里错了,远比模糊描述"我喜欢什么"管用。 他说这条对带人类写手同样适用。
优化器找到的,是真正能复现他风格的东西,而不是过度放大他的小怪癖。
优化更贵:按 API 价格算,每个 skill 要 27 到 53 美元,一次性生成的版本只要 5 美元。
好在三个优化器的大部分提升都发生在前三轮,及早停止能省不少钱。第二轮实验,Mike 改用自己有补贴的 Claude Code 和 Codex 订阅来跑,没付全额 API 费用。
他会选 GEPA。在他的 Every 文章上,GEPA 对 autoresearch 的战绩是 77 比 31,对 ce-optimize 是 85 比 15。而且它内置在 DSPy 里,他本来就在用 DSPy 优化提示词。
写作 skill 既属于写作者,也属于模型。
Mike 为六个写作模型分别优化了 skill,把所有组合放在同一个尺度上排名,差距大得惊人:
| 模型 | 无 skill | GEPA 优化 skill |
|---|---|---|
| Opus 5.5 | 16% | 93%(所有测试中最高) |
| GPT-6 Astra | 1% | 66% |
数据说明,skill 的作用比模型本身更大。 带优化 skill 的 Sonnet 5.5,对上带 Claude 手写 skill 的 Opus 5.5,60 次判断里赢了 46 次。便宜一档的模型配上好 skill,能打赢贵一档的模型配烂 skill。
结论很直接:选定你要用来起草的模型,针对它优化;换模型了,就重新优化。
Mike 自己就经历过这一步。实验第一阶段,他调出的 Sonnet 5.5 比 Opus 5.5 写得更好。但真实写作中上下文不是固定的,他想用更聪明的模型,Opus 有可能带来比他原本更好的想法。于是他又跑了一轮优化,最终找到了把 Opus 推到第一的 skill。
用 skill 的方式,要和测试它的方式一致:给它一份装满你真实内容的简报。
只给一句话的提示,它会用看似合理的内容填补空白,再套上逼真的你的口吻。内容是编的,声音却像你,这是最糟的组合。
Mike 写关于"克隆同事"的那篇文章时,给了 skill 一句引语、10 条事情经过的要点、他测试过的邮件,以及一份口述文字稿。
最后他对草稿做了 44 处修改。之前的实验里,AI 草稿动辄要改几百处。
这些修改大多是让语气更随意,比如加上"我写邮件就像写推文"和"有点烂"这样的话。有一处修改和 skill 直接冲突:skill 会把人名加粗,而 Mike 从不这样做。
这些修改,就是下一轮的训练数据。
有一点要提防:裁判只奖励"像你过去发表的东西",所以用旧文章优化出的 skill,听起来像过去的你。如果你的风格正在变化,就把最近的文章留作期末考。
想在自己的文章上试试,可以去 GitHub 获取这个 skill,里面有设置说明。它很快会并入 Every 的 Compound Writing 插件。
距离第一次用 Copy.ai 过去了六年。Mike 的结论是:把风格描述写得更好,没用;换更强的模型,也不会自动更像他。
真正起作用的,是一场实打实的考试:用真实文章,配上装满真实内容的简报,再由裁判拿两份生成稿去对照原文。
这条经验能迁移到写作之外:用 AI 做某件事卡住了,先想清楚怎么评估它,再去优化它。 没有评估,所有优化都只是自我感觉良好。
Mike 的下一步是把这套流程做成系统:每发表一篇文章,就自动加入语料库,系统重新测试,看看有没有变化。
他的设想是,自己专注于过有意思的生活、形成新的想法和观点,事后交给 AI 写成文章。在他看来,写作者是否勤奋、是否有条理,正在变得没那么重要;有没有做过值得写的事,变得更重要。
skill 依然决定不了什么值得说,也不该指望 AI 替人思考。它只能把输入的东西,用他会用的方式说出来。可以把它当成一个代笔,帮你写下每一个好想法。经历和观察还得自己去积累,只是现在把它们分享出去,容易多了。
如果想照着做,最小可行版本是这样的: