Page tree
Skip to end of metadata
Go to start of metadata

警告:Jupyter启动时会重置教程的笔记本。如果你想修改并保存它们,请复制一份。

仿真输入数据

这台服务器带有一个挂载的/hdfs/vtd/demodata目录,这是所有教程的基础。

这是一个高性能的文件系统。使用hadoop fs命令来提供快速访问。对于轻量级访问,可以使用/hdfs挂载来访问HDFS。这个挂载是一个nfs共享,使用HDFS的NFS网关技术。

查看演示数据

代码:

%%bash

ls /hdfs/vtd/demodata

输出:

Basic-Run
Basic-Run-GPU
Basic-Run-Multi-IG
ScaleDriver
ScaleDriver-GPU
ScaleDriver-LaneChange
SideCar-Driver
SideCar-ImageOutput

结果存储

在运行作业时,必须提供一个项目。设置项目定义了一对持久化存储:数据帧和文件。

大多数教程会将结果发送到“azure”存储资源。请查看下文,了解如何创建。

列出资源

代码:

from scale.services import ScaleServicesRestClient

# 在此处分享输出要小心,它包含连接的凭据
ScaleServicesRestClient().data_resource_list()

输出:

[V1ResourceSpec(name='local', file=V1HdfsFileStorageSpec(namenode='hdfs-nn', port=9000, base_dir='', url='http://hdfs.local.scale-hexagon.com/explorer.html#/'), dataframe=V1HdfsDataframeStorageSpec(file_spec=V1HdfsFileStorageSpec(namenode='hdfs-nn', port=9000, base_dir='dataframes', url='http://hdfs.local.scale-hexagon.com/explorer.html#/'), format='parquet', url=None), dashboardUrl=None)]

创建资源

代码:

from scale.services import V1ResourceSpec, V1AzureBlobFileStorageSpec, V1PostgresDataframeStorageSpec

example_resource = V1ResourceSpec(
    name='tutorial',
    dashboardUrl='https://public.tableau.com/en-us/gallery/renewable-energy-and-fossil-fuel-usage-europe',
    file=V1AzureBlobFileStorageSpec(
        connection='DefaultEndpointsProtocol=https;AccountName=***;AccountKey=**;EndpointSuffix=core.windows.net',
        base_dir='',
        url='https://azure.microsoft.com/en-us/services/storage/blobs/'),
    dataframe=V1PostgresDataframeStorageSpec(
        connection='jdbc:postgresql://***:5432/***?user=***&password=***',
        schema='scale',
        table='scaledata',
        url='https://azure.microsoft.com/en-us/services/postgresql/'))

# 返回码200表示成功
ScaleServicesRestClient().data_resource_post(example_resource).status_code

输出:

200

删除资源

代码:

from scale.services import ScaleServicesRestClient

ScaleServicesRestClient().data_resource_delete('tutorial')

输出:

True
Write a comment...