科技前沿:Tapis计算平台将科学计算工具编织在一起
在这个正是日新月异的时代,飞黄腾达的时代,人类的科技、生活已经在近几年快速的进入快车道,在这年头有台电脑、手机已不是稀奇的事,因为几乎每家每户都会有电脑,电脑仿佛将我们彼此链接在一起,下面分析一片关于电脑与手机各种新型科技产品的文章供大家阅读。
希望降低研究难度并在工具带中添加新的计算工具的科学家可以探索Tapis项目。Tapis软件平台旨在帮助研究人员更轻松地利用功能强大的超级计算机,并集成和管理来自不同遥远来源的数据。
美国国家科学基金会(NSF)向德克萨斯高级计算中心(TACC)和德克萨斯大学奥斯汀分校(UT Austin)授予了290万美元的资助,此外还向夏威夷大学(UH)提供了100万美元的奖励。NSF奖项于2019年9月开始,旨在支持Tapis的持续开发,Tapis是TACC-API的缩写,从挂毯一词开始,将服务和功能融合在一起。一个应用程序编程接口(API)是一个接口的软件系统已建成或改造的另一个程序使用。
“ Tapis是用于计算科学和计算研究的研究计算平台,”负责TACC的云计算和交互式计算小组的首席研究员(PI)乔·斯塔布斯说。“ Tapis是一个软件系统,可以帮助研究人员使用我们在TACC和其他地方拥有的超级计算机和其他类型的计算资源。”
“描述Tapis的最简单方法是,它是一个基于Web的应用程序,它提供了现代科学家进行数据密集型,计算密集型研究所需的所有工具,”大学网络基础设施主管Co-PI Gwen A. Jacobs说。夏威夷系统。“ Tapis的与众不同之处之一是,它将研究人员需要的所有重要工具编织在一起。这就是Tapis的真正力量。”
Tapis将在使用计算工具进行研究的过程中为具有不同专业知识的各种用户提供服务。拥有高端计算资源和编程经验的“高级用户”将是其中的一员。Tapis将帮助他们自动化和简化大型的工作流程或软件应用程序管道。
在光谱的另一端,科学家才刚刚开始探索将先进计算应用于他们的研究的可能性。Stubbs说:“我们正在尝试使用Tapis为他们做的事情,是在超级计算机上运行计算程序的最简单方法。”
然后是中间一个小组,通常是大型软件开发项目,专注于特定的研究领域,例如免疫学,天文学或生物信息学。
Stubbs说:“ Tapis的目标是使研究人员能够以更加用户友好的方式访问这些计算资源。”
由NSF资助的计算资源被广泛描述为网络基础设施,即研究人员共享的在线生态系统,由高级计算资源作为后盾,托管在数据中心中,并得到专家的支持。“那些网络基础设施项目的Web开发人员团队和其他开发人员可以利用Tapis更快地构建其网络基础设施项目。”
为此,一个示例是TAPIS API框架对流传感器数据的支持,其中在复杂的工作流程中,一个事件(例如,对传感器阵列的检测)可能触发另一个事件,依此类推,甚至是多个分析例程。
雅各布斯解释说:“事件驱动的计算意味着工作流并非一直在运行。对于那些需要从传感器和数据等来源获取数据的科学家来说,这是一个很棒的功能上传。这意味着他们不必手动运行所有代码。工作流建立之后,就可以进行免提计算,从而实现免提分析。”
Tapis将整合由地球科学基金会(NSF)资助的EarthCube组成的地球科学(CHORDS)项目云托管实时数据服务,以实现事件驱动的计算。
从某种意义上说,应用于科学的API允许不同的系统相互通信。Stubbs说:“使用Tapis的想法是要有一个机器可读和易用的接口来连接计算资源,例如超级计算机,还有高性能的存储系统,例如我们的Corral存储系统或我们的全局文件系统,Stockyard,以及我们希望拥有一个易于在其他程序中访问和操作的界面。”
Tapis将提供的另一个功能是新的安全内核,其作用类似于控制对系统资源的访问的门。Tapis安全内核将被分散化,使科学家可以更轻松地站立自己的应用程序并保留对机密数据的本地控制。
夏威夷大学网络基础设施研究科学家Co-PI Sean Cleveland说:“新的安全内核使我们能够提供过去完成的所有托管安全性,身份验证和授权。”“但是它还将允许数据中心和机构部署自己的安全内核,以便他们可以使用自己的用户凭据并以自己的方式管理自己的安全性,以及在其机构中部署框架的各个组件,并且能够利用一些集中的工作,这是一个使用科学即服务,平台即服务的新型混合系统,但是如果您想要更多的控制和定制功能,则可以在现场部署较小的组件而且仍然能够利用一些较大的托管组件来满足不同的需求。”
Tapis将为用户提供简化创建应用程序的过程的能力,这是科学家的强大工具。雅各布斯说:“如果您可以对工作流程进行编程,并使该工作流程在Tapis这样的平台上运行,则可以简化流程,因为所有组件都可以更轻松地相互交流。”“这意味着研究人员必须构建一次该工作流程。然后,他们将该工作流程另存为Tapis基础架构中的应用程序并重复使用。”
保存软件环境的所有参数也将使科学家能够在以后再次返回并再次运行数据分析,从而提高了科学可重复性。
Stubbs解释说:“这实际上是TACC与夏威夷大学之间的完整合作。”
TACC在高性能计算和构建分布式软件系统方面拥有广泛的专业知识。尽管TACC的某些组件将在NSF资助的Jetstream云上运行,但Tapis的组件本身可以在商品服务器或现成的服务器上运行。
UH的团队成员正在为Tapis系统的开发,设计和体系结构做出贡献。更重要的是,它们为气候,海洋,珊瑚礁,人类微生物组以及围绕健康差异的人口研究等领域的夏威夷提供了大量重要的领域研究信息。
雅各布斯说:“在夏威夷为我们提供Tapis项目,对于将先进的网络基础设施应用到数据密集型科学中,是一个巨大的认识提升。”“没有这样的项目,我们的许多研究人员可能不会意识到这些资源。”
研究人员正在努力的主要里程碑之一是在2020年夏季为早期采用者举办的年终研讨会。“我们的想法是举办一次研讨会,邀请研究人员参加,带来他们的数据集,以提供给研究者。不仅介绍了他们的科学和用例,而且还让Tapis团队在第一年年底之前介绍了系统的功能。”
TACC高级计算接口主管Co-PI Maytal Dahan表示:“我们非常高兴能够启动由NSF资助的新Tapis项目。“ Tapis将通过促进强大的网络基础设施功能和服务的发现,访问和使用来改变科学家的生产力。我们希望通过提供各种安全可靠的API服务来降低完成科学的复杂性并缩短产品上市时间。可以在生产质量的环境中为我们的用户提供支持。
TACC团队将在项目的各个方面工作-开发安全内核,流数据API和集成,质量保证和持续集成测试,外展,培训和员工开发。我真的为TACC和UH的团队感到骄傲,我们都热心从一开始就通过我们的早期采用者计划与科学界合作,以创建对科学界产生积极影响的服务。”
Tapis项目是“持续创新网络基础设施”(CSSI)的一部分,该项目是由高级网络基础设施办公室(OAC)牵头的NSF跨领域计划。“ CSSI支持创新的网络基础设施的发展,使研究人员社区能够继续并加速NSF支持的所有基础科学和工程领域的进步,”管理该奖项的OAC计划主任Stefan Robila博士说。“通过在先前的工作基础上,并利用现有的领导力计算资源(如TACC可获得的资源),Tapis有助于不断增强国家网络基础设施,同时降低了获取网络基础设施的障碍。”