将 Arrow 数据发送到浏览器的最佳方式是什么？

在David Li对原始帖子的评论的基础上，您可以在服务器端使用PyArrow和在客户端使用Apache Arrow JS绑定来实现您想要的非流式版本，而无需太多代码。Arrow IPC 格式可以满足您的要求，因为它随数据一起提供架构，节省空间且零拷贝，并且是跨平台的。

下面是一个玩具示例，演示如何在服务器上生成记录批处理并在客户端上接收它：

服务器：

from io import BytesIO

from flask import Flask, send_file
from flask_cors import CORS
import pyarrow as pa

app = Flask(__name__)
CORS(app)

@app.get("/data")
def data():
    data = [
        pa.array([1, 2, 3, 4]),
        pa.array(['foo', 'bar', 'baz', None]),
        pa.array([True, None, False, True])
    ]
    batch = pa.record_batch(data, names=['f0', 'f1', 'f2'])

    sink = pa.BufferOutputStream()

    with pa.ipc.new_stream(sink, batch.schema) as writer:
        writer.write_batch(batch)

    return send_file(BytesIO(sink.getvalue().to_pybytes()), "data.arrow")

客户

const table = await tableFromIPC(fetch(URL));
// Do what you like with your data

编辑：我在 https://github.com/amoeba/arrow-python-js-ipc-example 添加了一个可运行的示例。