SQL INSERT文本 转 Avro Schema与数据 API

代码示例

这些示例以 multipart/form-data 发送样例，并原样保存响应字节。请先设置环境变量 TABLECONVERT_API_KEY。

curl --fail-with-body --max-time 40 \
  'https://api.tableconvert.com/v2/convert/sql-to-avro' \
  --header "Authorization: Bearer $TABLECONVERT_API_KEY" \
  --form-string 'data=CREATE TABLE records (id TEXT, event TEXT, country TEXT);
INSERT INTO records VALUES ('\''101'\'', '\''signup'\'', '\''DE'\'');
INSERT INTO records VALUES ('\''102'\'', '\''purchase'\'', '\''FR'\'');' \
  --output 'sql-to-avro.avro.json'

import os
from pathlib import Path
import requests

endpoint = "https://api.tableconvert.com/v2/convert/sql-to-avro"
headers = {"Authorization": "Bearer " + os.environ["TABLECONVERT_API_KEY"]}
fields = {
    "data": (None, "CREATE TABLE records (id TEXT, event TEXT, country TEXT);\nINSERT INTO records VALUES ('101', 'signup', 'DE');\nINSERT INTO records VALUES ('102', 'purchase', 'FR');"),
}

response = requests.post(endpoint, headers=headers, files=fields, timeout=40)
response.raise_for_status()
Path("sql-to-avro.avro.json").write_bytes(response.content)

import { writeFile } from "node:fs/promises";

const form = new FormData();
form.set("data", "CREATE TABLE records (id TEXT, event TEXT, country TEXT);\nINSERT INTO records VALUES ('101', 'signup', 'DE');\nINSERT INTO records VALUES ('102', 'purchase', 'FR');");

const response = await fetch("https://api.tableconvert.com/v2/convert/sql-to-avro", {
  method: "POST",
  headers: { Authorization: "Bearer " + process.env.TABLECONVERT_API_KEY },
  body: form,
  signal: AbortSignal.timeout(40_000),
});
if (!response.ok) {
  throw new Error("HTTP " + response.status + ": " + await response.text());
}
await writeFile("sql-to-avro.avro.json", Buffer.from(await response.arrayBuffer()));

请求参数

将受支持的INSERT语句及其列清单按表格文本解析；API不会在数据库中执行SQL。

使用 data、file 或 url 提供一种输入来源。页面示例使用适合该格式的来源模式。

输出选项

生成包含record schema与行数据的JSON；此输出不是Avro对象容器文件，也不是二进制Avro编码。

此输出格式不提供额外选项。

转换规则

输入读取方式

• 为获得可预期的列映射，请使用明确的INSERT列清单与受支持的值元组。
• 这里进行文本解析，不求值任意SQL查询，也不迁移schema或访问数据库。
• 导入前请处理计算表达式、方言专用字面量与复杂转储。
• 提取后可能需要清理带引号的标识符文本与源字面量语义；请核对null和转义。

输出生成方式

• 表头名称成为record字段名，生成字段类型为string。
• JSON包含独立的schema与data成员；schema演进和逻辑类型需要由应用进一步检查。
• 请校验Avro命名规则；如需真正的二进制容器，请再使用Avro库编码。

适用场景

响应与错误

重试前请先检查响应。新的 HTTP 请求属于新的转换，可能再次消耗积分。

限制、计费与版本

本地预览最多接受 200 KB。当前 API 实现允许上传一个不超过 50 MiB 的文件，multipart 中每个文本字段限制为 1 MiB，v2 转换任务的截止时间为 30 秒。部署环境可能设置更严格的限制。重试前请先检查错误内容；部分解析或渲染失败会返回 HTTP 500。

真实调用遵循 API 积分规则。转换失败会返还积分；若转换已完成，随后下载连接中断不会撤销该次成功转换。

参考资料与格式规范

格式参考资料用于说明底层语法；上方转换规则与样例描述 TableConvert 的实际实现。

• www.postgresql.org
• avro.apache.org