主菜单 (移动)-块

主菜单块

布兰森实验室

Janelia7_blocks-janelia7_secondary_menu | 块
Custom_misc-custom_misc_lab_updates | 块

实验室更新

15 03/20 | 可用位置
节点: field_content_header | entity_field
当前研究
节点: 主体 | 实体 _ 字段

神经系统是复杂的。即使是简单的果蝇的神经系统也包含成千上万的神经元,使数百万个神经元相互联系。这些计算的输出,即动物的行为,是高度多样化和同样复杂的。为了理解这些系统,我们需要收集、分析和解释大量数据集,详细描述神经元群体的解剖和活动及其对动物行为的贡献。技术进步使得能够收集这些数据,通常是以图像和视频的形式。我们实验室的研究重点是如何从这些大数据集提取科学理解。我们:

  • 开发新的机器视觉和学习算法,根据大规模、技术支持的神经科学实验中可用的数据和信息类型进行定制。
  • 用我们正在开发的新数据分析技术,解决关于大脑和行为的新问题。
  • 开发这些算法的强健的、通用的实现,可供生物学家使用,这将对我们实验室外的神经科学研究产生影响。

量化动物行为

我们的分析从动物行为的视频开始。这个视频捕捉到了大量关于动物行为的信息,但是是高维度的,不能以原始形式进行定量解释。我们应该如何表现动物的行为?我们应该将行为离散化为类别,还是应该使用更连续的表示?动物的行为 “词汇” 是什么?在我们的研究中,我们正在寻找对动物行为有科学意义的、简洁而详细的、定量的表征。

自动跟踪算法图解
左: 使用 Ctrax,我们可以跟踪相互作用的苍蝇组的位置、方向和机翼角度。右: 使用级联姿势回归,我们可以在三维空间跟踪鼠标的爪子。

我们使用机器视觉和学习来回答这些问题。我们正在开发机器视觉软件来自动跟踪动物 -- 在输入视频的每一帧中估计它们的位置和姿势。我们还在开发机器学习软件,以自动对视频的每一帧中的行为进行分类。JAABA使用有监督的机器学习范式来学习能够自动再现生物学家的行为定义的行为分类器。在监督框架中,生物学家通过例子来定义行为。他们手动注释动物在视频帧的一个小子集中执行的行为,并且机器学习算法搜索可以自动再现这些注释的参数函数。


应用 15 个使用 JAABA 训练的自动苍蝇行为分类器的结果。

我们目前正在探索弱监督的机器学习方法来自动发现新的行为表型。我们能否记录除输入视频之外的信号,这些信号能提供动物行为状态的信息 (例如,通过钙成像的神经活动),并将其作为微弱、嘈杂的标签的一种形式?我们能否将未标记数据的统计分析与人类的注释结合起来,以更好地探索大型数据集并发现结构?

机器视觉和实践学习的新范式

对于机器视觉和学习来说,这是一个激动人心的时刻 -- 算法变得足够精确和高效,可以用来解决实际问题。我们如何将机器视觉和学习算法带出计算机科学实验室,并使它们可用?我们已经发现标准的有监督的机器学习框架在许多生物学应用中失败了。理想情况下,生物学家和计算机科学家可以一起工作,生物学家可以创建注释数据集来指示问题和期望的解决方案,计算机科学家可以开发算法来自动复制这些手动注释。不幸的是,这样一个干净的分工通常是不可能的。科学研究本质上是一个迭代过程,而且往往很难先验的制定一个需要优化的数学标准。


开始使用 JAABA 训练机翼梳理分类器的电影剧本。

动物行为注释就是一个很好的例子。动物的行为 “词汇” 是未知的。对于特定的行为类别,很难划定该类别的界限 (例如,一只苍蝇必须后退多少步才能被认为是 “备份”?)。第二,不同类型错误的成本是不同的,并且是未知的。第三,数据分布可能因实验而异,因为我们对动物进行不同的操作。

为了解决这些问题,我们正在探索机器学习的新范式。我们正在开发交互式系统,在该系统中,用户可以迭代添加新注释,运行机器学习以在数据中找到新结构 (训练新分类器,对数据进行聚类,等等), 然后向用户展示这个结构。我们还在探索超越每个示例标签的模式,以将用户的直觉传达给机器学习系统,例如基于三联体的距离关系。最后,我们正在开发新的数据可视化技术,以向用户显示机器学习算法的当前结构估计。

利用机器视觉和学习获得科学理解

我们正在使用我们正在开发的工具来深入了解神经系统功能、进化和行为学。我们使用这些工具来回答各种各样的问题,例如:

  • 什么样的神经元群体参与了一种行为?他们如何一起工作来产生和控制这种行为?
  • 近亲物种之间进化出了什么行为差异?为什么?
  • 动物的历史 (特别是社会史) 如何影响其行为?这种状态是如何存储的?
  • 动物社会互动的组成行为是什么?这些成分之间的刺激-反应关系是什么?

除了提供对生命科学基本问题的洞察之外,进行大规模的实验来回答这一系列不同的问题,告诉我们当前技术的局限性,以及什么新工具将拥有最大的, 影响最广泛。这些实验中的每一个都提供了行为的 “语言” 的微弱信号果蝇,以及什么方法在阐明这个基本结构中是有用的。