Page tree
Skip to end of metadata
Go to start of metadata

VTD Scale提供了一批工作节点。

在描述工作节点时,将提供以下信息:

  1. 描述(Description):定义工作节点的用途
  2. 镜像名称(Image Name):定义VTD Scale使用的Docker镜像名称
  3. 输入(Input):描述工作节点功能使用的输入
  4. 输出(Output):描述工作节点功能返回的输出

下载器

从URI中下载文件,然后将其复制到本地临时存储中。

目前只支持Git(例如:ssh://git@git/git-server/repos/demodata.git/test-1-concrete)。

URI可以引用目录或文件。
如果引用的是文件,那么复制包含目录中的所有文件和目录。

下载器决定将新文件放在本地临时存储的何处。
这个位置是从工作节点功能返回的。

在可能的情况下,下载器被设计为能够有效地多次复制同一文件。
这在开环和闭环研究中很重要。

  • 镜像名称
    • mscsoftware/scale-worker-applicator
  • 输入
    1. URI [string] — 引用一个已有的文件或目录
  • 输出
    • [string] — 包含输入URI所引用的相同文件的本地目录的路径。

填充器

基于泛化空间XML文件和样本实例,创建一组具体文件。

  • 镜像名称
    • mscsoftware/scale-worker-vtd-simulator
  • 输入
    1. space_xml [string] — 已有空间XML文件的本地路径
    2. sample_instance [Map[string, [string, double, integer]>] — 与space_xml文件中定义的所有参数相关的键值对
  • 输出
    • [string] — 新建目录或文件的路径,表示空间XML文件的入口点

VTD仿真器(CPU)

运行不带GPU的VTD仿真。

  • 镜像名称
    • mscsoftware/scale-worker-vtd-simulator
  • 输入
    1. path [string] — 包含具体VTD仿真输入的目录的本地路径
  • 输出
    • [string] — 新建目录的路径,这个目录包含VTD仿真的结果

VTD仿真器(GPU)

运行带有GPU的VTD仿真。

  • 镜像名称
    • mscsoftware/scale-worker-vtd-simulator-gpu
    • 注意:GPU镜像是用一个特定的NVIDIA驱动程序版本建立的。这个版本必须与运行Docker的主机匹配。
  • 输入
    1. path [string] — 包含具体VTD仿真输入的目录的本地路径
  • 输出
    • [string] — 新建目录的路径,这个目录包含VTD仿真的结果

VTD边车

支持使用联合仿真的模式来运行VTD仿真(CPU或GPU)。
在Scale中不会使用边车的输出。
边车被设计为具有与其父级工作节点(例如:CPU/GPU仿真器)相同的输入/输出接口。

  • 镜像名称
    • mscsoftware/scale-worker-vtd-simulator
  • 输入
    1. path [string] — 包含具体VTD仿真输入的目录的本地路径
  • 输出
    • [string] — 未使用

VTD处理器

处理VTD仿真的输出(例如:HDF5结果文件),并且返回关键结果。
关键结果用于填充Spark数据帧。
数据帧中的数据可以通过Tableau、Superset和Power BI等工具进行查询和访问。

  • 镜像名称
    • mscsoftware/scale-worker-vtd-processor
  • 输入
    1. path [string] — 包含VTD仿真结果的目录的本地路径。最重要的是,使用RDB_Data.h5文件。
  • 输出
    • [Map[string, string|integer|float|list[string>|list[integer>|list[float]] — 关键结果的名称和值的映射。列表用于采集帧级的结果。列表的索引对应于帧的编号。所有返回的列表必须具有相同的长度。

采样器

生成一个接近所提供的样本的新样本。
在寻求优化特定指标的闭环方案中,局部重新采样很有帮助。

  • 镜像名称
    • mscsoftware/scale-worker-sampler
  • 输入
    1. space_xml [string] — 泛化空间XML文件的本地路径。
    2. sample [pandas.DataFrame] — 带有参数的样本,这些参数与空间XML文件相匹配。需要有一行或多行。
    3. parameters [Map['count': int, 'stddev': float]] — 需要两个值。count定义要创建的样本大小(例如:返回的数据帧中的行数)。stddev定义偏离输入样本的程度。
  • 输出
    • [pandas.DataFrame] — 关键结果的名称和值的映射。列表用于采集帧级的结果。列表的索引对应于帧的编号。所有返回的列表必须具有相同的长度。


Write a comment...