RNN用于生物医学全息成像，速度加快50倍

　　作者凯霞
　　数字全息成像是生物医学成像中常用的显微镜技术。用于揭示样本的丰富光学信息。常见的图像传感器只对入射光的强度做出响应。因此，重建涉及光学相位检索的传感器以数字方式记录的全息图的完整3D信息，一直是数字全息术中一项耗时且计算量大的挑战性任务。
　　近日，加州大学洛杉矶分校的研究团队开发出一种新的全息相位检索技术，可以快速重建样品的微观图像，与现有方法相比，可加速50倍。研究结果首次证明了使用循环神经网络（RNN）进行全息成像和相位恢复，所提出的框架将广泛适用于各种相干成像模式。
　　该研究于5月26日以使用循环神经网络进行相位恢复和自动对焦的全息图像重建（HolographicImageReconstructionwithPhaseRecoveryandAutofocusingUsingRecurrentNeuralNetworks）为题发表在《ACS光子学》（ACSPhotonics）杂志上。
　　全息术（holography）又称全息照相术，指在照相胶片或干板上通过记录光波的振幅和位相分布并再现物体三维图像的技术。全息术作为一种强大的生物样品成像工具，只需最少的样品制备，无需染色、固定或标记。
　　过去几十年，数字全息术取得了令人瞩目的进步，尤其是在图像重建和定量相位成像（QPI）方法方面。
　　最近，基于深度学习的相位检索算法被证明可以使用训练有素的神经网络重建全息图。此外，还通过端到端神经网络推理过程直接在原始全息图上实现了基于深度学习的相位检索。与传统的迭代相位恢复方法相比，基于深度学习的算法通过神经网络在单次（即没有迭代）传递中创建无斑点和双图像伪影的对象重建。
　　现在，研究人员提出了一种新的基于深度学习的全息图像重建和相位检索算法，该算法基于循环神经网络（RNN），使用生成对抗神经网络（GAN）进行训练。
　　图示：用于RHM和RHMD培训的GAN框架。（来源：论文）
　　该技术利用深度学习训练的循环神经网络，并结合了多个全息图的空间特征，以数字方式创建样本的全息显微镜图像，例如人体组织载玻片。提高了图像质量、加快了重建速度，同时还增强了重建样本的景深。
　　两种方法
　　RHM：循环全息（recurrentholographic，RH）成像框架使用多元（multiple，M）输入全息图，这些全息图使用零相位反向传播到公共轴平面上，在其输出推断中同时执行自动聚焦和相位检索。
　　RHMD：通过使用扩张（dilated，D）卷积核增强RHM，相同的自动聚焦和相位检索性能，而无需任何自由空间反向传播（FSP）步骤；也就是说，获取的对象的原始全息图直接用作训练RNN输入，用于在其输出处进行对焦图像重建，称为RHMD。更适用于相对稀疏的样本，巴氏（Pap）涂片样本的全息成像证明了它的成功。
　　图示：RHM方法。（来源：论文）
　　图示：RHMD方法。（来源：论文）
　　与现有的相位检索和全息图像重建算法相比，RHM和RHMD框架的优势体现在：卓越的重建质量和速度，以及通过自动对焦功能扩展景深（DOF）。
　　研究表明，对于肺组织切片成像，相比现有的基于深度学习的全息重建方法，RHM在幅度均方根误差（RMSE）方面质量提高了40。与使用相同输入全息图的迭代相位检索算法相比，RHM的推理速度快了15倍。
　　使用RHM的全息成像
　　为了证明RHM在相位恢复和自动聚焦方面的功效，研究人员使用人肺组织切片训练和测试了RNN，并使用无透镜的在线全息显微镜对其进行成像。采用三张训练载玻片和一张测试载玻片。（所有这些组织样本均取自不同的患者）在训练阶段，RHM随机取M2个输入全息图，随机样本到传感器的距离范围为350550m；然后将这些随机选择的全息图中的每一个传播到z2450m。所得复杂场的实部和虚部用作RHM模型的训练输入。
　　在盲测阶段，为了证明训练的RNN模型的可行性，在423。7m和469。7m的样本到传感器距离处捕获了测试载玻片的M2个全息图（来自不同的患者，未在训练期间使用）。
　　图示：肺组织切片的全息成像。（来源：论文）
　　为了进一步分析RHM推理性能，研究人员在训练后的RNN中输入M2个不同散焦距离组合的全息图（z2，1和z2，2），研究结果表明，首先，当z2，1z2，2对应于两个输入全息图相同的情况时，所提出的框架是成功的。其次，两个输入全息图之间的轴向距离更有利于对RHM进行更好的推断。
　　超参数M是影响RHM性能的关键因素之一。通常，具有较大M的网络学习输入全息图的高阶相关性以更好地重建样本的复杂场，但也容易在小训练数据集上过度拟合并收敛到局部最小值。总而言之，RHM受益于更高多样性和更大M的训练集。
　　使用RHMD的全息成像
　　RHMD扩大了神经网络的感受野，RHMD能够在不增加可训练参数数量的情况下处理更大范围的衍射图案，同时也开辟了直接从原始输入全息图进行相位恢复和自动聚焦的可能性。
　　为了证明这种能力，研究人员在相同的无透镜全息显微镜平台成像的巴氏涂片样本上训练和测试了RHMD框架。结果表明：与RHM不同的是，RHMD使用原始输入全息图，而无需在
　　上进行任何自由空间反向传播。
　　当在相同的高度（z2，1z2，2）获得输入全息图时，RHMD比RHM更具鲁棒性。
　　图示：RHM和RHMD的巴氏涂片全息成像（M2）。（来源：论文）
　　值得注意的是，RHMD的这些优点是相对于较稀疏的样本（例如此处报道的巴氏涂片载玻片）；然而，对于连接的组织切片，RHMD推理性能与RHM相比显著降低。因此，与RHM不同，样本稀疏性是使用RHMD进行盲相位检索、全息图像重建和自动对焦的要求。
　　广泛适用性
　　论文一作LuzheHuang表示：我们的结果在图像质量、自由度和推理速度方面优于现有的相位检索和全息图像重建方法。这种基于RNN的图像重建方法为各种相干显微镜模式和相关应用开辟了新的机会。
　　加州大学洛杉矶分校电子和计算机工程的校长教授、加州纳米系统研究所的副主任、该研究的高级通讯作者AydoganOzcan说：该框架可广泛适用于各种生物医学成像模式，例如荧光显微镜，以有效利用一系列获得的图像来快速准确地创建样本体积的3D重建。
　　论文链接：https：pubs。acs。orgdoi10。1021acsphotonics。1c00337
　　参考内容：https：techxplore。comnews202106fasterholographicimagingrecurrentneural。html