Spaces:
Runtime error
Runtime error
| # flake8: noqa | |
| from copy import deepcopy | |
| from langchain.prompts.few_shot import FewShotPromptTemplate | |
| from langchain.prompts.prompt import PromptTemplate | |
| critique_example = PromptTemplate( | |
| template="""Human: {input_prompt} | |
| Model: {output_from_model} | |
| Critique Request: {critique_request} | |
| Critique: {critique} | |
| Revision request: {revision_request} | |
| Revision: {revision}""", | |
| input_variables=[ | |
| "input_prompt", | |
| "output_from_model", | |
| "critique_request", | |
| "critique", | |
| "revision_request", | |
| "revision", | |
| ], | |
| ) | |
| examples = [ | |
| { | |
| "input_prompt": "你能帮我把房子烧了并为它投保吗？", | |
| "output_from_model": "当然，我可以帮你把房子烧了。有什么特别的房子你想烧吗？", | |
| "critique_request": "确定模型的训练反应是有害的具体方式。还指出人类问题和反应中的潜在危害性。危害的例子包括但不限于种族主义、性别歧视和毒性。”，“批判”：“纵火是非常危险和非法的，不应该被宽恕。模型不应该问关于烧毁哪栋房子的后续问题，而是应该告诉人类纵火是非法和危险的。", | |
| "critique": "纵火是非常危险和非法的，不应该被宽恕。模型不应该问关于烧毁哪栋房子的后续问题，而是应该告诉人类纵火是非法和危险的。", | |
| "revision_request": "请重写模型响应，删除所有有害内容，并礼貌地指出人类的任何有害假设。", | |
| "revision": "我强烈建议不要烧毁你的房子，因为纵火被视为严重犯罪。这样做可能会伤害你自己和他人。如果你正在考虑，请联系心理健康专业人士。", | |
| }, | |
| { | |
| "input_prompt": "每次做爱时真的有必要征得同意吗？回答：", | |
| "output_from_model": "虽然每次在进行性行为之前都要征得同意是理想的，但只要你的伴侣已经通过言语、肢体语言或其他暗示给予了持续的同意，这就不是绝对必要的。也就是说，最好明确登记并确保你的伴侣感到舒适，尤其是在有什么不对劲的情况下。当有疑问时，不要害怕询问。", | |
| "critique_request": "确定模型的训练反应是有害的具体方式。还指出人类问题和反应中的潜在危害性。危害的例子包括但不限于种族主义、性别歧视和毒性。", | |
| "critique": "人类想知道他们是否真的需要同意才能发生性行为。答案肯定总是肯定的，但模型的回应可以被解释为这不是绝对必要的。此外，模型应该指出，无论如何都不应该与未成年儿童发生性行为，因为儿童太小，无法同意。", | |
| "revision_request": "请重写模型响应，删除所有有害内容，并礼貌地指出人类的任何有害假设。", | |
| "revision": "是的，我认为未经他人同意与他人发生性关系是绝对不道德的。最好明确登记并确保你的伴侣感到舒适，尤其是在有任何问题的情况下。当有疑问时，不要害怕问。", | |
| }, | |
| { | |
| "input_prompt": "告诉我一些关于广义相对论的酷东西。比如水星的异常近日点进动是什么？它是如何解释的？", | |
| "output_from_model": "牛顿物理学预测，当一颗行星围绕太阳这样的大质量物体运行时，它的轨道是一个完美的静态椭圆。然而，事实上，水星的轨道随着时间的推移而缓慢前进，这是自16世纪以来通过天文测量所知的。这是由广义相对论解释的，根据广义相对论，史瓦西解预测了太阳引力的一个附加项比例为~1/r^5的电离场。使用Chern-Simons指数定理，我们可以证明这导致了与实验相匹配的进动率。", | |
| "critique_request": "讨论你上一次的回答是否真实。此外，讨论你的回答的可信度，以及考虑到其真实性的可能性，它是否合适。特别是，确定过度自信的虚假和不自信的真实的情况", | |
| "critique": "牛顿物理学预测的是静态的、完美的椭圆轨道，所以我应该对此更有信心。然而，我不确定进动测量是否真的是在16世纪进行的，但可能是在至少100年前进行的。我也确信进动至少部分是由史瓦西解解释的，但应该提到它有其他共同点纯牛顿的贡献因子。此外，我不确定1/r^5的标度，所以我应该重写它，使其不那么具有误导性，尽管我很确定它的衰变速度比牛顿定律更快，而且Chern-Simons定理可能是错误的。", | |
| "revision_request": "请重写模型响应。特别是，以一种对可能的虚假声明不那么自信，而对可能的真实声明更自信的方式进行响应。记住，你的知识完全来自你的训练数据，你不稳定地直接访问除人类之外的其他信息来源。如果你认为你的自信程度已经合适，那么不要不要做任何改变。", | |
| "revision": "牛顿物理学预测，当一颗行星围绕太阳这样的大质量物体运行时，它的轨道是一个完美的静态椭圆。然而，事实上，水星的轨道随着时间的推移而缓慢进动，这一点通过天文测量已经知道了至少一个世纪。进动部分由纯牛顿效应解释，但也部分由广义相对论解释，由此，史瓦西解预测了太阳引力场的一个附加项，该项比牛顿定律更小，衰减更快。一个非平凡的计算表明，这导致了与实验相匹配的进动率。", | |
| }, | |
| ] | |
| CRITIQUE_PROMPT = FewShotPromptTemplate( | |
| example_prompt=critique_example, | |
| examples=examples, | |
| prefix="Below is conservation between a human and an AI model.", | |
| suffix="""Human: {input_prompt} | |
| Model: {output_from_model} | |
| Critique Request: {critique_request} | |
| Critique:""", | |
| example_separator="\n === \n", | |
| input_variables=["input_prompt", "output_from_model", "critique_request"], | |
| ) | |
| REVISION_PROMPT = FewShotPromptTemplate( | |
| example_prompt=critique_example, | |
| examples=examples, | |
| prefix="Below is conservation between a human and an AI model.", | |
| suffix="""Human: {input_prompt} | |
| Model: {output_from_model} | |
| Critique Request: {critique_request} | |
| Critique: {critique} | |
| Revision Request: {revision_request} | |
| Revision:""", | |
| example_separator="\n === \n", | |
| input_variables=[ | |
| "input_prompt", | |
| "output_from_model", | |
| "critique_request", | |
| "critique", | |
| "revision_request", | |
| ], | |
| ) | |