地球科学研究中的超级计算

2025-03-06 05:27:54

推荐回答（1个）

回答1：

王群

1 绪论

包括地质、地理、大气、海洋等众多学科在内的地球科学，是自然科学中直接面向人类与自然关系的部分。地球科学不仅是认识地球固态、液体和气态各圈层及其与人类关系的渠道，而且通过找矿勘探、气象预测、水文、测绘、地震等学科的科技实践活动，在资源、能源、环境和防灾、减灾等方面直接为社会经济服务。

卫星通信技术、网络技术和计算机技术，改变传统地学研究的模式。遥感、信息技术和各种实时观测、分析技术的发展，使地球科学进入了覆盖全球、穿越圈层，亦即地球系统科学的新阶段，从局部现象的描述推进到行星范围的机理探索，获得了全球性和系统性的信息。

在应用方面，地球科学的作用几乎无所不在，从采掘业、工业、农业到建设规划、旅游和军事，都是地球科学施展的领域。而且，随着社会发展而出现的环境恶化和自然灾害后果的加重，使得原来主要面向资源的地球科学朝环境和减灾防灾发展，从而拓宽了地球科学为社会服务的领域。

现代化的探测手段、信息技术的应用，生成了PB/TB级的地质空间数据，需要万亿次以上的超级计算机处理和解释、存取和利用。另一方面，数字信息和通信环境的发展，也改变了传统基础学科研究的手段和方法，一个多学科交叉的研究队伍是完成大型科学研究和工程实现的重要保证。先进的超级计算机和网格计算技术为基础交叉学科的研究提供一个多学科共享资源平台。2002年以来，美国、英国、日本、澳大利亚和欧盟都启动“e-Research”或“e-Science”项目，投资额从1亿到10亿美元不等，其目的是利用网格技术和中间件技术把全国或区域范围的大学或研究室的超级计算机连接起来，形成一个虚拟的协同多学科资源共享平台。与此同时，先进发达国家正在建立以地球科学为核心的多学科资源共享平台。

2 超级计算机

正如Moore定律的解释，计算机的运行速度正快速增加（每18个月增加一倍），制造费用急剧下降，超级计算成本趋于合理，购买一个万亿次计算能力的超级计算机，目前我国大多数大学可以支付得起。根据超级计算机的性能最新统计TOP500 显示（截至2004年12月），其中358台是2004年最新安装的，2003年安装了95台。两者相加占世界最快500台计算机的90%以上，如表1所示。加快计算机的速度在技术上已不是难题，关键是软件系统的开发，而这正是我们的薄弱环节。

在基础学科研究领域，地球科学是应用超级计算机最多的领域。根据TOP500的最新统计（截至2004年12月），如表2所示，在最高性能的500台超级计算机中，地球物理占了51台，占总数的10%以上。如果加天气和气象研究、天气预报等，地球科学占用的超级计算机的比例还要大。

表1

表2

目前我国许多大学和研究机构也开展了超级计算体系结构的研究，例如，以Linux操作系统为主的集群式计算机结构体系。这种体系在大型计算机和超级计算机昂贵时，为超级计算任务提供了一个可行的解决方案。但是现在已不能满足更大规模计算的要求。其主要问题是性能比差，可靠性低，维护困难，扩展性差，安全性差，研究人员在系统的构造上花太多的精力，费用也不一定低。

2003年，美国两院院士、美国《时代》周刊封面人物陈世卿博士回到中国，在深圳蚬壳星盈公司发明了超级刀片计算机。陈世卿博士亦是世界著名CRAY超级计算机CRAY-MP和Y-MP开发的领导者。

超级刀片计算机的“刀片”设计理念类似于喷气发动机的涡轮“叶片”。这些“叶片”随时可以取下来更换，将它们绞合在一起便产生强大的动力。超级刀片计算机充分运用了这种设计理念，深入浅出，化繁为简，采用全新的技术，对计算节点的升级只需要增加“刀片”不需要重新布线和配置。这种计算机如同发动机上插满了一个个“刀片”，每个“刀片”就是一个运算单元，理论上可以无限扩充，而且可以在不停机的情况下随时增加和更换。超级刀片计算机采用了崭新的设计理念和系统架构，运算速度可超过每秒50万亿次浮点数，达到了美日等先进国家超级计算机的水平。超级刀片计算机具有持久的生命力，安全可靠，合理的价格性能比，实时协同模式等性能。

3 地球科学研究的超级计算问题

地球科学研究的超级计算问题包括：地震数据处理和解释、遥感信息处理和解释，大规模地理信息系统，地质空间数据处理和可视化，地球、大气和海洋等各种自然现象动态模拟，如地震，洪水，沙尘暴等，工程地质结构模拟，材料分子动力学模拟等等。另外，在地球科学的研究中，有许多超级计算涉及多学科，跨学科问题。有些问题是实时的，协同工作流模式。

4 基于高性能网络的超级计算

随着计算机和信息技术的发展和应用，特别是高速网和相关设备的建设和应用，已经深刻地影响到科学研究的方法，改变了研究的手段，同时，导致了e-Research和e-Science概念的出现。

e-Science是对一个超大规模的、需要全球科学家协同合作的、利用互联网及相关技术的科学研究基础设施的定义。这些协同科学研究的一个最典型的特征是，科学家需要存取海量级的数据集，利用独特的科学研究设施，消耗大量的科学计算资源，执行高性能的分析、建模和可视化显示。这种超大规模的研究的另一个重要方面是为科学家和跨学科之间的信息交流，新概念萌发提供了学科交叉的平台。

e-Research是e-Science更一般的定义和概括，它包含了非理科研究的行为和活动。例如e-Research包括人类学和社会学的研究，为了协同工作和知识共享，e-Research也有利用分布式计算资源的特征。

网格技术（Grid Technologies）在e-Research和e-Science的发展中扮演了一个重要角色。与顾客和企业可以获取电力供应一样，网格使研究员和研究机构以某种规定的方式，存取网络上分布的数据仓库，特殊的科学设备，获取知识服务，以及共享强大的计算功能。他们可以实现灵活多变的、安全的知识共享，并且在个体研究者、研究机构以及资源动态组合中，协调科学研究问题的求解。这种方式通常也称为虚拟组织（Virtual Organization）。

计算基础设施（Cyberinfrastructure）代表了一个由分布式计算机、信息和通信技术组建的、新型的、虚拟科学和工程知识环境。它实现了一个高效，多种形式进行科学研究的平台。

科学家通过对新知识的挖掘、交互式建模、利用仿真和模拟工具、共同协作解决复杂的科学和工程技术问题，这些导致了基础科学研究设施正在发生变化。复杂的科学和工程技术问题要求我们的新型基础科学研究设施必须是跨学科的、分布式的、集成共享平台。天文学（Astronomy）、生物学（Biology）、地球科学（Geosciences）、公共卫生（Public Health）和纳米材料（Nano-materials）通常都需要实现信息集成、数据分析和安全的知识共享。它们都需要安全地、可操作地、连续地存取物理设备（例如计算机、磁盘阵列、仪表仪器等）、数据和信息（大量的数据集、商业和科学数据库、信息和软件库，视频和图像库）以及特定的专家和学者。

e-Research中间件是具有特定功能的软件，该软件为整个计算基础设施上的应用系统、计算资源、研究机构和个人之间的知识管理、知识共享、任务合作提供标准的通用工具和服务，它是e-Research计算基础设施的重要组件。

美国、英国、欧洲共同体、日本等都实施了庞大的e-Research计算基础设施的研究计划，他们希望计划可以增加国家长期的经济繁荣以及发挥基础设施所提供的知识分布的功力。许多研究计划已经研发出了重要的中间件，一些项目是国家之间的合作计划，或交流项目，共同开发跨大洲的通用中间件。

通过国家自然科学基金（NSF）的资助，美国目前正在考虑每年增加投资10亿美金建造和开发一个高性能计算基础设施计划（Advanced Cyberinfrastructure Program），其中的三分之一（大约3.95亿美元）将投到中间件的技术研究以及相应的开发活动中。表3列举了一些重要的e-Research基础设施研发计划以及大约投入到中间件研发经费。

表3

虽然我国在计算基础设施（Cyberinfrastructure）建设中投入了一定的研究经费，但是报告显示有效地利用它获取研究资源的效率是较低的、耗时的，需要较多的人力。用户迫使使用不可靠的、手工的方法去发现合适的资源；有时需要与资源的拥有者协商；有时需要通过低效、耗时、昂贵的手段利用这些资源；有时甚至需要跨洲飞行。对存取高速网上资源、设备、服务和数据缺乏足够的认识，导致了我们失去了很多机会。另外，用户也给系统的安全带来了许多不确定因数，需要防止非授权人员对资源的入侵。由于标准化、系统支持和维护以及用户界面的不完善，在支持和维护软件过程中研究人员需要投入更多的时间和精力。

地球科学需要有一个互信的、协同的、交互的、基于高速网的资源环境，为软件服务提供支持的中间件可以达到该目的。虽然我国ICT（Information and Computer Technology）研究人员对许多中间件的关键技术和服务做了大量的调查研究，但他们大多是学科单一的研究小组和企业，缺乏中心协调和一个特殊应用的驱动。因此，在我国中间件研究项目内部以及与国际中间件研究项目之间，都应该建立更多的协调机制。当前，我国对中间件基础设施研究的资助基金是有限的、支离破碎的，从而导致了一些项目的重复和低效。

我国需要一个公开中间件研究计划（Open middleware program），它可以保证这些研究活动的集成和整体协调，可以把现有的传统中间件扩展和改造成符合国际标准的OMP（Open middleware program）体系结构，并提供特殊应用领域的服务。该中间件研究计划还将识别和填补我们与国际中间件研究技术的差异，把目前研究项目的软件更新到可以被e-Research研究机构应用的软件。

目前的网格服务中间件（身份管理，存取控制，供货管理，预订服务，通知服务），当运行在现有的计算基础设施的时候，是很脆弱的，不可靠的。网格服务组件需要工程化，使组件更鲁棒，更可靠。用户可以完全透明地存取网格共享的设备、计算和数据资源。我们需要扩大网格服务中间件的研究和投资力度，提高它的标准化、鲁棒性和可用性。

实施公开中间件计划重要目的之一是解决和完善OGSA网格服务之间的界面、基于因特网的应用层中间件、数字图书馆和信息管理服务、知识服务管理等。在过去的几年里，全球网格联盟GGF（Global Grid Forum）开发了网格基础设施技术要求（Grid infrastructure specifications），例如Globus Toolkit和Open Grid Services Architecture（OGSA）。全球网格联盟（包括Globus联盟，HP和IBM）集聚在一起开发符合WSRF（WS-Resource Frame-work）形式的网络服务。这也将使得网格研究机构牵动W3C和OASIS开发的技术和工具，现已吸引到大量的工业界投资。WSRF和相关的技术要求目前还不是一个工业标准，OMP的作用之一跟踪这些发展，确保它们反映和了解我国e-Research和网格技术的现状。

现有的中间件的工具和服务应该重新认识，并使它们更加可靠、实用。

现有的中间件的工具和服务应该更具有可操作性、共享性、客户化，并且能够与更大的框架集成、与网格环境集成。

为此，需要开发新的中间件工具和服务。在缺乏以下功能的情况更应该考虑开发新的中间件：网格安全，网格管理和组装，服务适应的质量，工作流引擎，协同工具，多媒体语义索引，智能服务发现，决策支持和假设测定软件，数据和知识的验证和校订，自动表示机制，协同可视化，模拟和仿真以及为应用系统科学家设计的高端网格用户界面。

在领域特殊的科学数据仓库中存在大量的异构数据集，例如空间数据、时间数据、图像、视频、音频、3D、光谱、图形和多媒体等，这些数据应该能存取、共享以及与其他领域的信息资源、数字图书馆（发表的文章和论文）和网站集成。

知识网格层需要加入到现有的计算和数据网格中，这将涉及定义知识管理服务和网格管理之间的界面以及实现知识网格服务和网格环境的集成。

加大研究工作的协调和增加资金的投入可以防止工作的重复，缩小与国际的差距。

5 协同计算中间件

理论上讲，中间件处在用户之间、应用系统之间，或用来解决复杂科学和工程问题的资源之间（见下图）。中间件提供了一组通用的服务和工具，容许研究人员和应用系统在处理计算、数据仓库、其他分布资源时，就好像它们是一个超大型的虚拟设施。中间件把一组应用系统需要的核心服务放在一个标准的、无所不在的容器中。这种通用的服务品简化了应用系统的开发，提供了系统的鲁棒性和交互操作性，减少了许多重复的工作，并在各方面提高效率。

计算基础设施的关键组件图

虽然这里把中间件分为三个服务和工具类型，但是还有一些其他传统的方法划分中间件的空间。另外，有些组件（例如，安全、语义、来源等）实际上横跨在所有三个分类。

网格服务和资源管理中间件：该中间件包括一个公开网格服务设施OGS（Open Grid Services Infrastructure），提供网格数据和计算资源之间的以及使用这些资源高端应用服务之间的存取、通信、安全、认证、记账和协调服务。计算和数据网格依赖网格服务中间件，因而又称该层为资源管理中间件（Resource Management Middleware）。

知识管理中间件：该中间件提供了大量的服务和工具，以实现对各种类型的大型数据仓库和视频信息存储仓库的索引、归档、查询、分析、集成、管理和表示等。这些工具可以实现对多学科的数据集的整合和自动索引，并且实现交互式分析、建模和可视化。工具还可以挖掘、获取和发布新层次的知识，共享新的注释。

协同中间件：该中间件提供服务和工具以支持形式和非形式化的，实时和非实时的协同活动，这些活动可能出现在远程科学家之间、研究机构之间或资源（动态，可扩展的虚拟组织）之间。表4列出了这些中间件的基本功能，它们是该研究项目典型需要集成和需要研发的。

表4

续表

6 结论

地球系统科学的发展在经济社会可持续发展中占有重要地位。

地球系统科学的研究需要应用大型科学仪器设备和超大规模计算设施，处理PB、TB级地质空间数据集。

现代地球系统科学研究涉及大量的多学科和交叉学科的问题求解，因此需要一个协同多学科资源共享平台和使用该平台的技术标准和规范。

地球系统科学的研究不应是一个孤立的行为，应与世界联合共同研究，该资源共享平台可以参与世界e-Research和Geo Grid网格建设中去。

我国地球系统科学基础研究的超级计算设施较差，特别是大学里，需要加大投入和整合我们的基础研究资源。

建立以地球科学超级计算和地质空间数据处理为目的的基础研究平台。

实现地球科学基础研究为目的的多学科资源共享环境和地学网格计算环境。