CSV 转 Avro Schema与数据 API

代码示例

这些示例以 multipart/form-data 发送样例，并原样保存响应字节。请先设置环境变量 TABLECONVERT_API_KEY。

curl --fail-with-body --max-time 40 \
  'https://api.tableconvert.com/v2/convert/csv-to-avro' \
  --header "Authorization: Bearer $TABLECONVERT_API_KEY" \
  --form-string 'data="id","event","country"
"101","signup","DE"
"102","purchase","FR"' \
  --output 'csv-to-avro.avro.json'

import os
from pathlib import Path
import requests

endpoint = "https://api.tableconvert.com/v2/convert/csv-to-avro"
headers = {"Authorization": "Bearer " + os.environ["TABLECONVERT_API_KEY"]}
fields = {
    "data": (None, "\"id\",\"event\",\"country\"\r\n\"101\",\"signup\",\"DE\"\r\n\"102\",\"purchase\",\"FR\""),
}

response = requests.post(endpoint, headers=headers, files=fields, timeout=40)
response.raise_for_status()
Path("csv-to-avro.avro.json").write_bytes(response.content)

import { writeFile } from "node:fs/promises";

const form = new FormData();
form.set("data", "\"id\",\"event\",\"country\"\r\n\"101\",\"signup\",\"DE\"\r\n\"102\",\"purchase\",\"FR\"");

const response = await fetch("https://api.tableconvert.com/v2/convert/csv-to-avro", {
  method: "POST",
  headers: { Authorization: "Bearer " + process.env.TABLECONVERT_API_KEY },
  body: form,
  signal: AbortSignal.timeout(40_000),
});
if (!response.ok) {
  throw new Error("HTTP " + response.status + ": " + await response.text());
}
await writeFile("csv-to-avro.avro.json", Buffer.from(await response.arrayBuffer()));

请求参数

先将分隔文本解析为矩形表格，再生成目标输出。清晰的首行表头与一致的分隔符有助于确定字段映射。

使用 data、file 或 url 提供一种输入来源。页面示例使用适合该格式的来源模式。

输出选项

生成包含record schema与行数据的JSON；此输出不是Avro对象容器文件，也不是二进制Avro编码。

此输出格式不提供额外选项。

转换规则

输入读取方式

• 若目标输出使用命名记录或schema字段，请在首行提供列名。
• 带引号的分隔符、双引号转义与引号内换行按单元格内容解析；短行会补齐到表格宽度。
• 请先统一混用的分隔符；自动识别分隔符使用启发式规则。
• CSV单元格进入转换后为文本；看起来像数字的编号不等同于数值类型。

输出生成方式

• 表头名称成为record字段名，生成字段类型为string。
• JSON包含独立的schema与data成员；schema演进和逻辑类型需要由应用进一步检查。
• 请校验Avro命名规则；如需真正的二进制容器，请再使用Avro库编码。

适用场景

响应与错误

重试前请先检查响应。新的 HTTP 请求属于新的转换，可能再次消耗积分。

限制、计费与版本

本地预览最多接受 200 KB。当前 API 实现允许上传一个不超过 50 MiB 的文件，multipart 中每个文本字段限制为 1 MiB，v2 转换任务的截止时间为 30 秒。部署环境可能设置更严格的限制。重试前请先检查错误内容；部分解析或渲染失败会返回 HTTP 500。

真实调用遵循 API 积分规则。转换失败会返还积分；若转换已完成，随后下载连接中断不会撤销该次成功转换。

参考资料与格式规范

格式参考资料用于说明底层语法；上方转换规则与样例描述 TableConvert 的实际实现。

• www.rfc-editor.org
• avro.apache.org