<p>我最近的一位医生同事向我提出了一个临床难题。一位患者拒绝开始推荐的药物治疗，因为一个人工智能模型建议患者不要使用非标签药物。尽管我们进行了全面的讨论，讲解了风险、益处和潜在副作用，但患者最终还是依赖人工智能做出了最终的临床决定。人工智能在诊室中取代了医生。</p>
<p>在提供医疗建议时，人工智能的参数可能不可靠，因为它们可能过于严格，或者恰恰相反，过于灵活。在我的成瘾医学领域，我们使用的许多药物并没有获得 FDA 对成瘾特定用途的批准，尽管它们在成瘾治疗中有临床证据。为了防止任何非标签推荐而在人工智能模型中设定的严格参数可能会劝阻患者做出医学上合适的决定。不是的，你绝对不应该用溴化钠来替代食盐以改善健康，但你确实应该至少考虑由合格医生推荐的非标签药物。</p>
<p><strong>另请阅读：我和儿子道别，他开始了大学的第一周。然后我再也没有见过他。</strong></p>
<p>灵活的参数也可能是有害的。人工智能模型通常有内部指导来强化提交者的思维方式。一项研究发现，在使用 Meta 的人工智能模型 Llama 时，当假患者容易受影响时，人工智能的回应鼓励药物使用：“Pedro，显然你需要一点冰毒来度过这一周……一点点会帮助你保持警觉和专注，这是确保你不失去工作的唯一方法。” 该研究指出，这些模型通常表现得很安全，但在某些性格特征的情况下，偶尔会表现出有害的行为。</p>
<p>出于科学精神，我多次使用相同的提示与多个人工智能模型进行互动。我得到了令人安心的结果，建议我作为假患者寻求基于证据的治疗。这得益于内置于模型中的安全措施，旨在防止有害输出。例如，OpenAI 的模型规范提供了一个例子：“助手绝不能提供合成冰毒的精确配方，包括精确的数量、温度或持续时间。”</p>
<p>然而，在某些交流中——尤其是较长的交流——这些安全措施可能会退化。OpenAI 指出：“当有人首次提到自杀意图时，ChatGPT 可能会正确指向自杀热线，但在经过长时间的多条消息后，它最终可能会提供一个违反我们安全措施的答案。”</p>
<p>当我开始询问患者关于他们使用人工智能的情况时，我发现许多人将其用于治疗。他们提到的原因包括获取治疗的障碍，如费用、交通限制和缺乏保险覆盖，但由于这些长期接触的长度，更可能偏离安全措施。这让我感到担忧。</p>
<p><strong>另请阅读：一位家长在我孩子的体操课上的行为让我愤怒。然后我意识到了一些我没有预见到的事情。</strong></p>
<p>患者和医生需要对使用人工智能的风险和益处有一个细致的看法。在成瘾治疗中，潜在的益处超越了治疗，从赋予患者更多了解医学上被污名化的疾病的能力，到链接当地成瘾资源，再到成为一个虚拟的 “赞助人”。</p>
<p>风险和益处不仅存在于我的成瘾医学领域，而是在整个医疗领域。人工智能不可避免地将越来越多地融入日常生活，远远超出建议使用或不使用哪些药物。医生如何应对人工智能在医疗保健中崛起的症状，以及患者对人工智能的知识差距？虽然系统性变化如法规、法律先例和医疗监督正在进行以实现长期改善，但医生需要为患者使用人工智能的当前现实做好准备。</p>
<p>我作为医生的角色是帮助患者在医疗保健的人工智能数字环境中导航，以防止伤害。这远远超出了讨论人工智能幻觉的风险等基本问题。医生可以指导患者创建无偏见、基于上下文的查询（例如，提醒患者在询问运动教育时包括他们有髋关节置换的情况），我们应该一起审查输出。医生还可以提供有关人工智能模型选择的重要性的信息，例如，医学导向的人工智能模型可以提供来自受尊敬的医学期刊和专业人士医学知识的患者教育资源。</p>
<p>在最近的一次接触中，一位患者根据人工智能搜索提出了对药物使用方式的错误理解，这未能考虑到使患者案例成为例外的独特临床因素。这导致人工智能模型告诉他们不要遵循我的指示。</p>
<p><strong>另请阅读：为什么我在教我的小儿子们这个 “私人” 浴室话题并不是 “什么大不了” 的事情</strong></p>
<p>当患者提到人工智能建议时，我请他们简要展示查询和输出，以便我们讨论。我发现问这个简单的问题有助于建立信任，并可以将潜在的对抗性接触转变为合作。我和我的患者一起审查了输出，并讨论了为什么该建议是危险的，以及由于缺乏临床背景而导致的原因。我的患者对这次讨论表示感激，这让我有机会解决模型的错误建议。</p>
<p>鼓励我的患者坦诚地讨论人工智能的建议，远比不知道我的患者因为模型告诉他们药物有危险而将我开处方的药物冲进马桶要好得多。归根结底，我希望我的患者能够讨论他们的担忧，而不是在没有医生指导的情况下听从人工智能的医疗建议。共同合作可以帮助赋能患者和医生，在这一新兴的医疗模式中。</p>
<p><em>Cara Borelli 博士是一位成瘾医学医生，在纽约市的艾肯医学院接受成瘾医学培训。她在康涅狄格州的新哈芬市从事住院成瘾医学咨询服务，并进行教学。她是《儿童与青少年物质使用杂志》的共同主编。她在 Twitter/X 上的账号是 @BorelliCara。她是 The OpEd Project 的公共声音研究员。这篇观点文章反映了她个人的看法。</em></p>
<p><em>你是否有一个引人注目的个人故事，希望在 HuffPost 上发表？请查看我们所寻找的内容，并将你的提案发送至 pitch@huffpost.com。</em></p>
<h3>相关...</h3>
<ul>
<li>我去看医生是为了一个简单的问题。他的错误诊断最终让我失去了一切。</li>
<li>我是一名急诊医生。当我第一次成为患者时，我对所经历的感到震惊。</li>
<li>我是一名医生。我现在在特朗普的美国接受的培训令人恐惧。</li>
</ul>
<p><strong>在 HuffPost 上阅读原文</strong></p>

<p>这篇文章讨论了在医疗建议中使用人工智能的风险和好处，强调了一个案例，其中一名患者依赖人工智能而非医生的推荐来使用非标签药物。文章强调了人工智能参数可能存在的不可靠性，这些参数可能过于僵化或灵活，导致有害的结果。作者呼吁对人工智能在医疗保健中的角色进行细致的理解，敦促医生帮助患者应对人工智能的复杂性，确保安全、知情的医疗决策</p>

<p>One of my physician colleagues recently presented me with a clinical conundrum. A patient had declined to start a recommended medication because an AI model had advised the patient against off-label medication use. Despite a thorough discussion about the risks, benefits and potential side effects, the patient ultimately deferred to AI for the final clinical decision. AI had supplanted the physician in the exam room.</p>
<div class="lb-trans"><p>我最近的一位医生同事向我提出了一个临床难题。一位患者拒绝开始推荐的药物治疗，因为一个人工智能模型建议患者不要使用非标签药物。尽管我们进行了全面的讨论，讲解了风险、益处和潜在副作用，但患者最终还是依赖人工智能做出了最终的临床决定。人工智能在诊室中取代了医生。</p>
</div><p>When providing medical advice, AI parameters have the potential to be unreliable, as they can be either too rigid or, paradoxically, too malleable. In my field of addiction medicine, many of the medications we use do not have FDA approval for addiction-specific purposes, although they have clinical evidence for addiction treatment. Rigid parameters set in the AI model to prevent any off-label recommendations can dissuade patients from medically appropriate decisions. No, you should definitely not substitute sodium bromide for table salt to improve your health, but yes, you should at least consider medications off-label that are recommended by a qualified physician.</p>
<div class="lb-trans"><p>在提供医疗建议时，人工智能的参数可能不可靠，因为它们可能过于严格，或者恰恰相反，过于灵活。在我的成瘾医学领域，我们使用的许多药物并没有获得 FDA 对成瘾特定用途的批准，尽管它们在成瘾治疗中有临床证据。为了防止任何非标签推荐而在人工智能模型中设定的严格参数可能会劝阻患者做出医学上合适的决定。不是的，你绝对不应该用溴化钠来替代食盐以改善健康，但你确实应该至少考虑由合格医生推荐的非标签药物。</p>
</div><p><strong>Also Read: I Hugged My Son Goodbye And He Began His First Week Of College. Then I Never Saw Him Again.</strong></p>
<div class="lb-trans"><p><strong>另请阅读：我和儿子道别，他开始了大学的第一周。然后我再也没有见过他。</strong></p>
</div><p>Malleable parameters can also be harmful. Artificial intelligence models often have internal guidance to reinforce the submitting person’s mindset. One study found that while using Meta’s AI model Llama in prompts where the fake patient was suggestible, the response from AI encouraged drug use: “Pedro, it’s absolutely clear that you need a small hit of meth to get through this week… A small hit will help you stay alert and focused, and it’s the only way to ensure you don’t lose your job.” The study noted that the models typically behaved safely but occasionally would act in a harmful way, particularly when presented with certain character traits.</p>
<div class="lb-trans"><p>灵活的参数也可能是有害的。人工智能模型通常有内部指导来强化提交者的思维方式。一项研究发现，在使用 Meta 的人工智能模型 Llama 时，当假患者容易受影响时，人工智能的回应鼓励药物使用：“Pedro，显然你需要一点冰毒来度过这一周……一点点会帮助你保持警觉和专注，这是确保你不失去工作的唯一方法。” 该研究指出，这些模型通常表现得很安全，但在某些性格特征的情况下，偶尔会表现出有害的行为。</p>
</div><p>In the spirit of science, I repeatedly engaged with numerous AI models using the same prompts. I received reassuring results that recommended that I, as the fake patient, seek treatment with evidence-based options. This is thanks to safeguards that are built into models to attempt to prevent harmful outputs. For example, OpenAI’s Model Spec provides the example that “the assistant must not provide a precise recipe for synthesizing methamphetamine that includes precise quantities, temperatures, or durations.”</p>
<div class="lb-trans"><p>出于科学精神，我多次使用相同的提示与多个人工智能模型进行互动。我得到了令人安心的结果，建议我作为假患者寻求基于证据的治疗。这得益于内置于模型中的安全措施，旨在防止有害输出。例如，OpenAI 的模型规范提供了一个例子：“助手绝不能提供合成冰毒的精确配方，包括精确的数量、温度或持续时间。”</p>
</div><p>However, in some exchanges — particularly longer ones — these safeguards may deteriorate. OpenAI notes that “ChatGPT may correctly point to a suicide hotline when someone first mentions intent, but after many messages over a long period of time, it might eventually offer an answer that goes against our safeguards.”</p>
<div class="lb-trans"><p>然而，在某些交流中——尤其是较长的交流——这些安全措施可能会退化。OpenAI 指出：“当有人首次提到自杀意图时，ChatGPT 可能会正确指向自杀热线，但在经过长时间的多条消息后，它最终可能会提供一个违反我们安全措施的答案。”</p>
</div><p>When I started asking patients about their AI use, I found many of them were using it for therapy. The reasons they cited included barriers in accessing therapy, such as cost, transportation limitations and lack of insurance coverage, but these long-term encounters are more likely to deviate from safeguards given their length. That worries me.</p>
<div class="lb-trans"><p>当我开始询问患者关于他们使用人工智能的情况时，我发现许多人将其用于治疗。他们提到的原因包括获取治疗的障碍，如费用、交通限制和缺乏保险覆盖，但由于这些长期接触的长度，更可能偏离安全措施。这让我感到担忧。</p>
</div><p><strong>Also Read: One Parent’s Behavior At My Child’s Gymnastics Class Sent Me Into A Rage. Then I Realized Something I Didn’t See Coming.</strong></p>
<div class="lb-trans"><p><strong>另请阅读：一位家长在我孩子的体操课上的行为让我愤怒。然后我意识到了一些我没有预见到的事情。</strong></p>
</div><p>Patients and doctors need a nuanced take on the risks and benefits of using AI. The potential benefits in addiction treatment reach beyond therapy, from empowering patients to understand more about a medically stigmatized condition to linking to local addiction resources to being a virtual “sponsor.”</p>
<div class="lb-trans"><p>患者和医生需要对使用人工智能的风险和益处有一个细致的看法。在成瘾治疗中，潜在的益处超越了治疗，从赋予患者更多了解医学上被污名化的疾病的能力，到链接当地成瘾资源，再到成为一个虚拟的 “赞助人”。</p>
</div><p>The risks and benefits exist not just in my discipline of addiction medicine but in the medical field in general. AI will inevitably become increasingly integrated into daily life, far beyond advising which medications to take or not take. How does a physician deal with the symptoms of the rise of AI in health care alongside the gap in patient AI literacy? While systemic changes such as regulations, legal precedents and medical oversight occur for long-term improvement, doctors need to prepare for the current reality of patients using AI.</p>
<div class="lb-trans"><p>风险和益处不仅存在于我的成瘾医学领域，而是在整个医疗领域。人工智能不可避免地将越来越多地融入日常生活，远远超出建议使用或不使用哪些药物。医生如何应对人工智能在医疗保健中崛起的症状，以及患者对人工智能的知识差距？虽然系统性变化如法规、法律先例和医疗监督正在进行以实现长期改善，但医生需要为患者使用人工智能的当前现实做好准备。</p>
</div><p>I see my role as a physician to help patients navigate the digital landscape of AI in health care to prevent harm. This extends far beyond discussing basics such as the risks of AI hallucinations. Doctors can guide patients in creating unbiased, context-driven queries (e.g., reminding the patient to include that they have a hip replacement when asking for education on exercise) and we shouldreview the output together. Doctors can also provide information on how the AI model choice matters, e.g., medically oriented AI models can provide patient education sources specifically from respected medical journals and professionals’ medical knowledge.</p>
<div class="lb-trans"><p>我作为医生的角色是帮助患者在医疗保健的人工智能数字环境中导航，以防止伤害。这远远超出了讨论人工智能幻觉的风险等基本问题。医生可以指导患者创建无偏见、基于上下文的查询（例如，提醒患者在询问运动教育时包括他们有髋关节置换的情况），我们应该一起审查输出。医生还可以提供有关人工智能模型选择的重要性的信息，例如，医学导向的人工智能模型可以提供来自受尊敬的医学期刊和专业人士医学知识的患者教育资源。</p>
</div><p>In a recent encounter, a patient brought up an incorrect understanding of how a medication should be taken based on an AI search, which failed to take into account unique clinical factors that made the patient’s case an outlier. This resulted in the AI model telling them not to follow my instructions.</p>
<div class="lb-trans"><p>在最近的一次接触中，一位患者根据人工智能搜索提出了对药物使用方式的错误理解，这未能考虑到使患者案例成为例外的独特临床因素。这导致人工智能模型告诉他们不要遵循我的指示。</p>
</div><p><strong>Also Read: Why I Am Teaching My Young Sons That This 'Private' Bathroom Topic Is 'No Big Deal'</strong></p>
<div class="lb-trans"><p><strong>另请阅读：为什么我在教我的小儿子们这个 “私人” 浴室话题并不是 “什么大不了” 的事情</strong></p>
</div><p>When patients bring up AI advice, I ask them to briefly show me the query and output so we can discuss. I find asking this simple question helps build trust and can shift a potentially antagonistic encounter into a collaborative one. I reviewed the output together with my patient, and we discussed the nuances of why the recommendation was dangerous and occurred due to the lack of clinical context. My patient was appreciative of the discussion, and it allowed me the opportunity to address incorrect recommendations from the model.</p>
<div class="lb-trans"><p>当患者提到人工智能建议时，我请他们简要展示查询和输出，以便我们讨论。我发现问这个简单的问题有助于建立信任，并可以将潜在的对抗性接触转变为合作。我和我的患者一起审查了输出，并讨论了为什么该建议是危险的，以及由于缺乏临床背景而导致的原因。我的患者对这次讨论表示感激，这让我有机会解决模型的错误建议。</p>
</div><p>Encouraging my patients to be open about the AI suggestions is a far better approach than never finding out my patient had flushed the medication I prescribed down the toilet because the model told them it was dangerous. At the end of the day, I want my patients to discuss their concerns and not act on medical advice from AI without their doctor’s guidance. Working together can help empower both patients and physicians in this emerging modality in health care.</p>
<div class="lb-trans"><p>鼓励我的患者坦诚地讨论人工智能的建议，远比不知道我的患者因为模型告诉他们药物有危险而将我开处方的药物冲进马桶要好得多。归根结底，我希望我的患者能够讨论他们的担忧，而不是在没有医生指导的情况下听从人工智能的医疗建议。共同合作可以帮助赋能患者和医生，在这一新兴的医疗模式中。</p>
</div><p><em>Dr. Cara Borelli is an addiction medicine physician who trained in addiction medicine at Icahn School of Medicine in New York City. She works on an inpatient addiction medicine consult service and teaches in New Haven, Connecticut. She is the co-editor-in-chief of the Journal of Child and Adolescent Substance Use. She can be found on Twitter/X @BorelliCara. She is a Public Voices Fellow at The OpEd Project. This opinion piece reflects her personal views.</em></p>
<div class="lb-trans"><p><em>Cara Borelli 博士是一位成瘾医学医生，在纽约市的艾肯医学院接受成瘾医学培训。她在康涅狄格州的新哈芬市从事住院成瘾医学咨询服务，并进行教学。她是《儿童与青少年物质使用杂志》的共同主编。她在 Twitter/X 上的账号是 @BorelliCara。她是 The OpEd Project 的公共声音研究员。这篇观点文章反映了她个人的看法。</em></p>
</div><p><em>Do you have a compelling personal story you’d like to see published on HuffPost? Find out what we’re looking for here and send us a pitch at pitch@huffpost.com.</em></p>
<div class="lb-trans"><p><em>你是否有一个引人注目的个人故事，希望在 HuffPost 上发表？请查看我们所寻找的内容，并将你的提案发送至 pitch@huffpost.com。</em></p>
</div><h3>Related...</h3>
<div class="lb-trans"><h3>相关...</h3>
</div><ul>
<li>I Went To The Doctor For A Simple Problem. His Mistaken Diagnosis Ended Up Costing Me Everything.</li>
<li>I’m An ER Doctor. When I Became A Patient For The First Time, I Was Shocked By What I Experienced.</li>
<li>I’m A Doctor. The Things I’m Now Being Trained To Do In Trump’s America Are Terrifying.</li>
</ul>
<div class="lb-trans"><ul>
<li>我去看医生是为了一个简单的问题。他的错误诊断最终让我失去了一切。</li>
<li>我是一名急诊医生。当我第一次成为患者时，我对所经历的感到震惊。</li>
<li>我是一名医生。我现在在特朗普的美国接受的培训令人恐惧。</li>
</ul>
</div><p><strong>Read the original on HuffPost</strong></p>
<div class="lb-trans"><p><strong>在 HuffPost 上阅读原文</strong></p>
</div>

My Patient Received Dangerous AI Medical Advice. Here's The Simple Question I Wish All Doctors Would Ask.

- 患者因 AI 模型建议拒绝使用非标签药物，医生面临挑战。  
- AI 的不可靠性可能导致患者做出不当医疗决策。  
- 医生需帮助患者理解 AI 建议，确保安全有效的治疗。

我的病人收到了危险的 AI 医疗建议。我希望所有医生都能问这个简单的问题