Uber开源实验自动化设计框架

Uber今天发布了一个框架，该框架用于在Pyro（用于深度概率建模的开源工具）中设计实验。该框架利用机器学习来实现最佳实验设计（OED），这是一种基于信息论的原理，可以自动选择复杂实验的设计。利用该框架，实验人员可以将OED应用于从DNA分析到网站和应用程序A/B测试的一大类实验模型。

实验在产品开发过程中起着重要作用，而设计它们通常需要足够的专业知识。但是，即使是专家，有时也难以与数百个设计参数，嘈杂的数据和实时适应性抗衡。Uber的解决方案是一种用于计算实验的新型算法，它比以前的方法更快，更可扩展。在实践中，它可以帮助神经科学家绘制大脑中的微电路图，心理学家比较人类记忆的模型，统计学家可以确定选举投票策略等。

Uber的框架始于实验设计：它使用函数对每个可能的设计进行评分，并选择得分最高的产品。然后，它摄取在实验过程中记录的观察结果，并进行推断以模拟各种结果的可能性。

为了对实验设计进行评分，该框架利用了预期信息增益（EIG），即预期的实验人员可以从实验中学到的信息的度量。基本上，如果由于新信息而降低了目标的不确定性（实验者正在尝试学习的东西），则可以认为设计的优越性。

Uber的框架会根据预期的信息获取对设计进行评分，或者根据运行实验可能导致的所有可能的观察结果对信息获取的期望进行评分。根据当前的世界知识，它可以模拟许多可能的实验结果，并且在汇总获得EIG的收益之前，计算每个结果的信息收益。

Uber研究科学家MartinJankowiak和实习生AdamFoster在博客中写道：“通过在Pyro开发和开放[此框架]，我们希望社区中的其他人可以从该框架中受益并将其应用于自己的研究领域。””[框架]使我们可以使用相同的实验预算来了解更多有关世界的信息。尽管对于一个简单的实验而言，这可能不是什么大问题……但是对于更复杂的实验，很难找到好的设计启发式方法，而几乎不可能找到自适应的好的启发式方法。这就是OED如此吸引人的原因：它使实验设计自动化并提高了实验效率。”

新框架的发布是在Uber开源了用于调试AI模型的可视工具Manifold和用于构建，培训和部署对话AI和机器学习的平台Plato的开源之后。去年年初，该公司首次推出了Ludwig，这是一个基于GoogleTensorFlow框架构建的开源工具箱，该工具箱允许用户无需编写代码即可训练和测试AI模型。在2019年2月，它启动了自主可视化系统（AVS），这是一种基于Web的独立技术，用于了解和共享自主系统数据。