近年来，随着高性能计算技术的发展，为进一步扩展建模仿真技术在装备采办中的应用，支撑装备型号的全生命周期数字模型构建，基于物理的装备型号高保真建模仿真技术越来越受到重视。计算研究和工程采办工具环境（CREATE）属于美国国防部定义的大型计算科学工程软件（CSE）项目，在高性能计算现代化计划（HPCMP）的支持下开展，旨在开发和部署基于物理特性的高性能计算软件产品，通过高保真数字模型的构建和改进，支撑各军种武器装备的设计和实现。CREATE包含5大模块，每个模块下有若干软件产品，如图1所示。作为CREATE中唯一的固定翼飞行器飞发一体化建模仿真软件——Kestrel，体现了CREATE的总体发展战略，并已在美国空军多个武器装备的采办项目中得到了应用，非常具有代表性。

Kestrel的设计理念

Kestrel的设计理念主要由以下因素推动：第一，装备采办中，与成本和性能相关的大多数问题可以归因为多学科物理现象的建模仿真能力不完整或不充分；第二，对仿真软件中新功能、新算法、新技术的需求是持续变化的。

根据上述推动因素，研发人员确立了以下的设计开发理念：一是具备针对下一代超算架构的并行可扩展性，从而持续满足高保真仿真对计算资源的需求；二是采用“遗产转换到原生”（legacy to native）的软件开发方法，在软件的全生命周期内，先将遗产代码集成到框架内确保其功能，然后逐步重写或重构为原生代码；三是软件架构高度模块化，从而在实现多学科能力的同时提高代码的可维护性和可支持性；四是遵循专业的软件开发流程，包括配置管理、用户支持以及自动化的单元、集成和系统测试。

Kestrel在12年中总共发布了10个版本，其软件能力逐年提升，实现了开发与工程应用的良性迭代，也证明了其开发理念和架构设计的生命力。

Kestrel的架构和组成

总体架构

Kestrel的总体架构充分体现了其设计理念。Kestrel从架构上分为通用可扩展基础架构（CSI）、仿真组件（CFD、FEA、运动学和动力学、推进系统等）和交互界面等3大部分，如图2所示。CSI是Kestrel总体架构的核心，由Python语言编写，负责处理仿真过程中组件之间的执行流程和通用操作，并管理统一的数据仓库。仿真组件则通过统一的Python接口与CSI连接，将事件或数据发布到CSI上，或者订阅CSI上的事件或数据。以流场求解组件KCFD为例，其订阅事件为亚迭代步，即将流场解从当前时间步推进到下一个时间步；其订阅和发布的数据为网格量、流场变量等。这种称为“事件驱动”的架构实现了Kestrel各组件之间的解耦，从而使得开发团队能够在不修改已有架构和组件的情况下快速开发原生组件，或者也可以通过开发工具包（SDK）将自研软件和商业软件以插件形式快速集成到Kestrel中。

并行管理

Kestrel通过CSI、数据仓库（Data Warehouse）和并行库统一管理组件的并行，采用了两种颗粒度的并行策略。第一种是传统的细颗粒度并行策略，网格被直接分区到所有核心上，通过信息传递接口（MPI）共享信息，通信开销较大。第二种是新引入的粗颗粒度混合并行策略，网格以粗颗粒度的形式分区到节点，每个节点内部共享内存，在细颗粒度级别进行计算，MPI仅用于节点之间的通信。这种混合方法允许节点内进行负载平衡、所需内存更小、并行隐式性更高，并且比细颗粒度并行方案的输入/输出（I/O）性能更高。由于高性能计算CPU架构正向每个计算节点的物理核心更多、每个核心的内存更少的方向发展，粗颗粒度混合并行策略能更充分利用新架构的计算资源，Kestrel目前正逐渐由细颗粒度策略向粗颗粒度混合策略转移。

典型组件

Kestrel的组件包含了流体、结构、运动学、动力学、控制系统和推进系统等多个学科和专业方向。在流体仿真方面，Kestrel采用的是生成重叠网格，并在背景网格和贴体网格上分别求解的方案。背景网格为笛卡尔网格，采用的求解器为SAMCart；贴体网格为非结构网格，采用的求解器为KCFD 或 COFFE。其中，KCFD是主要的贴体网格流场求解器，采用有限体积离散，时空均为二阶精度，支持定常或非定常的RANS、DES求解，可适用于不可压、可压、高超声速、内外流、化学反应、燃烧等多种工况。COFFE是新引入的贴体网格流场高阶求解器，采用流线迎风/ Petrov-Galerkin（SU/PG）有限元离散，最终目标是实现极高分辨率下的大涡模拟（LES），目前已实现了4阶精度的延迟分离涡模拟（DDES）。在结构仿真方面，Kestrel通过Sierra/SD求解器来求解线性和非线性结构动力学问题和振动特征值问题。该求解器具备在数千核上求解1 亿自由度问题的能力，支持低阶和高阶的一维梁杆、二维板壳、三维六面体和四面体单元。Kestrel通过流固耦合组件（FSI）来实现上述求解器的耦合仿真。

Kestrel的推进系统组件为Firebolt。该组件的设计目的是替代当前飞发设计流程中仅将推进系统视为飞行器仿真边界条件的传统方法，提供高保真、全物理的发动机及进排气系统的仿真。在采办初期就把推进系统纳入到固定翼和旋翼飞行器的设计分析中，从而避免在采办后期才曝露出飞发耦合设计缺陷。Firebolt的1.0版本实现了零维发动机与飞行器外流的耦合仿真，2.0版本是一个全三维非结构求解器，通过在KCFD基础上添加出入口边界条件、旋转参考系、滑移面、掺混面等适用于叶轮机的数值方法，实现了三维全环的叶轮机仿真，并通过Rotor35/37/67等标准模型验证了其保真度。

交互界面

Kestrel的交互界面设计原则包括“一站式”用户输入、提供便捷的单位和坐标系转换功能和尽可能验证用户输入，其交互界面包含了用户界面（KUI）、设置可视化工具Jobview和命令行交互工具Capenter，如图3所示。KUI的主要功能是设置仿真输入参数，并将描述输入参数的XML文件传给CSI，同时还具有输入参数验证、单位和坐标系转换功能。此外，KUI可以对仿真结果数据开展本地后处理。Jobview工具用于在三维视图中对复杂工程进行可视化的检查验证、实体装配、边界条件设定等操作。Capenter用于在超算等非图形环境下进行仿真参数设置和提交。

软件测试

Kestrel建立了4个层级的持续测试，通过把软件缺陷尽可能早地暴露给开发人员和质量保证测试团队，确保了快速迭代开发过程中的软件产品质量。持续测试的第一级是单元测试，测试组件或库中的低层级代码，聚焦代码正确性；第二级是集成测试，从基础架构的角度测试单个组件，聚焦多语言之间的通信和事件排序；第三级是基于小网格、短时间的完整仿真过程的系统测试，聚焦组件之间的通信；第四级是大型仿真的验收测试，与文献、地面试验和试飞的预期结果进行比较。

Kestrel的测试能力逐年提高。2020年，Kestrel的每日测试包括了26000个单元测试、近1800个集成测试和 48个系统测试，覆盖了所有组件。验收测试通过部署在超算上的自动验收测试系统（ATS）实现，根据敏捷开发的时间间隔，每两周开展1次。该测试目前包含了127个单独的作业，涵盖了当前所有Kestrel用例的复杂性和流程机制，运行一次大约需要 15300h的CPU时间。

Kestrel应用实例

基于零维发动机模型的飞发一体化仿真

2014年，Kestrel具备了零维稳态和瞬态发动机模型（在Firebolt 1.0版本中实现）与飞行器高保真CFD模型的耦合仿真能力，从而可以在飞行器设计的初期就通过飞发一体化仿真研究发动机进出口边界条件给定、油门变化对飞行器性能影响等工程问题。研究人员使用Kestrel对3组飞发综合构型进行了研究（见表1），结果表明，零维发动机模型能够与外流求解器KCFD耦合，开展较为快速的飞发一体化仿真，并在定常和非定常工况下预测流场和飞行器响应。上述3组算例证明，与传统的仅给定发动机进出口边界条件的飞发联合仿真相比，零维发动机的耦合方案能更好地对发动机入口和进气道流场的恢复和畸变特性进行仿真。

表1   Kestrel 基于零维发动机模型的飞发一体化仿真算例

基于“全环三维风扇+零维核心机模型”的飞发一体化仿真

2015年，Kestrel的推进系统模块Firebolt升级到2.0版本，具备了“飞行器+全环三维风扇+零维核心机”的飞发一体化耦合仿真能力，从而可以以更高的保真度研究进口总压恢复和畸变等工程问题。研究者对A-10攻击机和TF34发动机的综合构型在高迎角下机翼内侧前缘缝翼和失速条造成的气流分离对发动机进气边界的影响进行了零维和全环两种方法的建模和仿真，如图4所示。全环的建模重点主要针对TF34发动机的单级风扇，首先生成静子和转子的单通道网格（各约100万单元），然后利用叶片通道的周期性生成全环网格（约7500万单元）。加上A-10外流网格（约3500万单元），最终生成的“飞行器+全环三维风扇+零维核心机”一体化网格约1.05亿单元。由于相对零维模型网格尺度变小，全环模型的时间步长也从1×10-4s减小到5×10-6s，从而增加了计算量。

研发人员将仿真结果与零维发动机仿真及试验结果进行了对比，如图5所示。结果表明，在总压恢复系数预测方面，相比零维仿真，全环仿真的总压恢复系数与试验结果符合得更好，最大误差从1.4%下降为0.4%；在畸变系数的预测方面，全环同样符合得更好，尤其是在大迎角时，畸变系数预测误差为0.01，比零维更低。总体而言，全环模型比零维模型能更好地预测高迎角下飞机外流场对进气平面的总压恢复系数和畸变系数的影响。

三维高性能风扇仿真

2018年，Kestrel的核心求解器KCFD增加了掺混面功能，降低了压气机和风扇CFD仿真的计算成本，从而能够研究压气机的特性线等问题。研究者使用Kestrel对美国空军研究实验室（AFRL）设计的高性能风扇Rotor4进行了仿真，其几何模型和网格模型如图6所示。

仿真的边界条件为入口给定总压、总温和流量，出口边界马赫数上限为1.0。仿真的时间步为0.001s，湍流模型为k-ω SST，时空精度分别为一阶和二阶，分别计算了100%、95%和90%设计速度下的特性线，并与试验结果和商业软件STAR-CCM+的仿真结果进行对比。结果表明，在100%设计速度下，KCFD的特性线仿真精度比商业软件更高，更接近于试验值。在这3个速度下，KCFD预测的失速和堵塞流量比试验值略高，效率值比试验值低3%～4%，压比峰值预测较为精确，远离堵塞点时的压比预测值与试验值符合得很好。该项研究验证了Kestrel的掺混面模型，研究人员认为，尽管在近堵点预测精度下降，但Kestrel完全能够预测单级的压比。由于掺混面模型可显著降低对计算资源的需求，在未来几年都将是发动机开发人员的重要工具，因此有必要在Kestrel中继续发展该模型，从而为进一步提高飞发一体化仿真的保真度提供支持。

结束语

随着数字孪生、数字主线、数字工程等数字化战略的发展，基于物理的型号全生命周期仿真已成为发展趋势，而发展具备多学科、多物理、多保真度、整机乃至飞发一体化仿真能力的航空发动机仿真软件，是航空发动机工业部门及未来军用采办的重要方向。航空发动机仿真软件具备学科与功能复杂、开发周期漫长和用户需求持续变化等特点，通过分析美军高保真飞发一体化仿真软件的开发思路，得到一些降低软件开发难度与风险的启示：一是在架构设计上应采用松耦合、 高灵活性的架构 ；二是采用 “敏捷开发”的思路，用“小步快跑” 的方式渐进发展软件，在确保原有功能的同时逐步添加新功能，推动软件的持续健康发展；三是引入配置管理、持续集成、持续测试等软件工程方法，特别是搭建基于超算的自动化测试系统确保软件质量和可信度。

（项洋，中国航发研究院，工程师，从事航空发动机数值仿真研究）