眼科B超检查在眼科诊断中发挥着至关重要的作用，尤其是在评估眼内肿瘤和视网膜病变情况等方面。B超检查具有非侵入性、无辐射的优点，但B超图像的解读和报告生成往往需要高度专业的知识，并且是一个劳动密集型的工作。随着影像数据量的增加和经验丰富的眼科医生的短缺，尤其是在资源有限的地区，如何提高B超报告生成的效率和准确性，成为眼科领域亟待解决的问题。

2026年1月，浙江大学金凯团队在npjDigital Medicine（IF=15.1）期刊上发表了题为Grounded Report Generation for Enhancing Ophthalmic Ultrasound Interpretation using Vision-Language Segmentation Models的研究论文，提出了一个基于多模态报告生成的视觉定位模型—VLS（Vision-Language Segmentation）模型，结合分割大模型SAM（Segment Anything Model），从而提高B超报告的生成质量与可解释性。

1.创新技术：多模态报告生成模型的视觉定位

本研究聚焦于视觉定位，并通过引入多模态学习（包括B超图像和报告生成文本）显著提高了报告的解释性。与传统的B超图像分析系统相比，VLS模型不仅在视觉层面解读图像特征，还能够通过语言模型生成符合医学标准、具有临床参考价值的报告内容。

在此框架下，视觉定位的引入让生成的报告不仅依赖于图像的简单描述，还通过定位图像中的关键特征，如眼内肿瘤的形状、大小、位置等，直接影响生成报告的精准性和完整性。通过对B超图像的准确定位和深度解读，AI模型能够生成更加精准、符合临床标准的报告，提供高解释性的诊断支持。

研究设计概述（图源自npjDigital Medicine）

2.VLS模型的性能与临床意义

2.1提升诊断准确性与报告生成质量

在多中心数据集的验证过程中，VLS模型表现出了卓越的性能，成功将诊断准确率从传统人工解读的85.55%提高至90.59%。这一提升证明了视觉定位在提高诊断准确性方面的显著作用，特别是在处理复杂病例和提高报告质量方面具有一定的价值。

此外，VLS模型能够通过定位眼部病变的关键区域，在生成报告时提供更加详细和具体的信息。这种报告不仅包括常规的诊断信息，还能够突出病变区域和临床指标，有效提高了报告的临床价值和解释性。

2.2显著缩短报告生成时间

除了提升诊断准确性，VLS模型还显著提高了报告生成的效率。在实验中，AI辅助报告生成的时间从传统人工报告的98秒缩短至6.2秒，这一结果表明，AI技术不仅能够提升准确度，还能提高报告生成的效率，为眼科医生节省了大量时间。

2.3成本效益优势

在成本方面，VLS模型的应用极大降低了报告生成的成本。传统的人工报告生成每份报告的成本约为39美元，而AI辅助报告生成的成本仅为1.3美元，这一差异使得AI技术在资源有限地区的应用具有广泛的前景。尤其是在眼科资源匮乏的地区，AI辅助报告生成将有效提升医疗服务的普及性和可负担性。

3.临床价值：提高诊疗效率和支持决策

3.1助力资源有限地区的眼科诊疗

在一些偏远地区，眼科医生数量不足且经验有限，VLS模型的应用可以帮助这些地区的医生高效解读B超图像并生成报告，提供快速、准确的诊断支持。通过AI技术，医生可以更加便捷地获取报告，提高诊断效率，从而降低误诊和漏诊的风险。

3.2提升眼科疾病诊断的精准度与速度

眼科B超检查的数据量日益增加，医生的工作负担逐渐加重。VLS模型通过提高图像解析能力，不仅能够提取眼科B超图像中的关键病变信息，还能生成符合临床标准的文本报告。这样，医生能够更快速地完成诊断，提高诊疗效率，为患者提供更加精准的治疗方案。

3.3支持个性化治疗方案与决策

AI模型还能够通过对患者的历史数据和B超图像的深度分析，结合个体化的病历信息，为医生提供更加精确的治疗方案。基于多模态数据，AI模型可以辅助医生在制定个性化治疗时考虑更多的因素，如病变的性质、进展速度等。

4.未来展望：跨领域应用和更高的临床适应性

随着技术的进步，VLS模型不仅能够应用于眼科领域，未来也具备扩展到其他医学影像领域的潜力。例如，结合CT、MRI等影像数据，AI技术可以实现对更多疾病的自动诊断与报告生成。未来，VLS模型有望成为跨领域医疗应用的标准模型，推动医学影像分析和自动报告生成的全面智能化。

此外，未来的研究将继续对模型进行优化，进一步提高其对稀有病种的适应能力和报告的解释性，为实际临床应用提供更强的支持。

5.结论：AI驱动眼科诊疗变革

浙江大学金凯团队提出的VLS模型在B超报告生成方面的创新，有望为眼科AI领域带来变革。这一技术不仅提升了报告生成的效率和准确性，还为偏远地区的眼科诊疗提供了切实可行的解决方案。随着AI技术的持续发展，未来该模型将在更多医学领域发挥重要作用，推动医疗诊断、治疗决策和患者管理的智能化进程。

文章链接：

https://www.nature.com/articles/s41746-025-02300-y