Правильное использование aws create-data-set [aws cli]

1

Я установил источник данных со следующим:

aws quicksight create-data-source --cli-input-json file://connection.json

cat connection.json:

{
    "AwsAccountId": "44455...",
    "DataSourceId": "abcdefg13asdafsad",
    "Name": "randomname",
    "Type": "S3",
    "DataSourceParameters": {
        "S3Parameters": {
            "ManifestFileLocation": {
                "Bucket": "cmunetcoms20",
                "Key": "asn-manifest.json"
            }
          }
        }
}

asn-manifest.json содержит (и помещается в соответствующее ведро):

{
    "fileLocations": [
        {
            "URIs": [
                "https://cmunetcoms20.s3.us-east-2.amazonaws.com/ASN_Scores.csv"
            ]
        },
        {
            "URIPrefixes": [
                "prefix1",
                "prefix2",
                "prefix3"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "CSV",
        "delimiter": ",",
        "textqualifier": "'",
        "containsHeader": "true"
    }
}

Это успешно создает источник данных, а затем, когда я перехожу к созданию набора данных, я использую

aws quicksight create-data-set --cli-input-json file://skeleton

скелет содержит:

{
    "AwsAccountId": "44455...",
    "DataSetId": "generatedDataSetName",
    "Name": "test-asn-demo",
    "PhysicalTableMap": {
        "ASNs": {
            "S3Source": {
                "DataSourceArn": "arn:aws:quicksight:us-east-2:444558491062:datasource/cmunetcoms20162031",
                "InputColumns": [
                {
                "Name": "ASN",
                "Type": "INTEGER"
                },
                {
                "Name": "Score",
                "Type": "DECIMAL"
                },
                {
                "Name": "Total_IPs",
                "Type": "INTEGER"
                },
                {
                "Name": "Badness",
                "Type": "DECIMAL"
                }
                ]
            }
      }
    },
    "ImportMode": "SPICE"
}

Выдает следующую ошибку:

"An error occurred (InvalidParameterValueException) when calling the CreateDataSet operation: Input column ASN in physical table ASNs has invalid type. Allowed types for S3 physical table are [String]"

Если я изменяю каждый тип на «String», возникает следующая ошибка:

An error occurred (LimitExceededException) when calling the CreateDataSet operation: Insufficient SPICE capacity

На счету много SPICE, что-то вроде 51 ГБ и почти нулевое использование. Кроме того, я проверил числа, и общее количество Spice, которое, по моему мнению, следует использовать для этого набора данных, составляет примерно 0 ГБ. (размер 71 тыс. строк, 4 столбца, каждый столбец в виде строки для дополнения моего расчета).

Спасибо

1
  • В заголовке вашего вопроса упоминается «создать-набор-данных», но в коде, который вы запускаете, «создать-источник-данных»
    Zippp
    1 фев в 16:17
2

Понятно, фам. Решением для меня была проблема с региональной конфигурацией. Мой ковш s3 был в нас-востоке-2, а мой Quicksight был в нас-востоке-1. Попытка создать набор данных в регионе, который не является вашей основной учетной записью (даже если у вас есть предприятие), вызывает ошибку специи, поскольку альтернативным регионам не дается никакого баланса специй для начала.