Dunes通过 DuckDB 集成增强 API 功能
realtime news Aug 01, 2024 16:37
通过集成 DuckDB，Dunes 显着改进了其 API，能够高效地进行分页、过滤和处理更大数据集。
据 Dune.com 报道，Dunes 宣布通过集成 DuckDB 大幅提升其 API，旨在解决用户对分页、更大查询结果以及过滤和排序等附加功能的需求。
动机与背景
这些改进源于用户反馈，强调了分页需求和处理更大查询结果的需求，此前限制为 1GB。Dunes 的原始架构主要是为了仪表板上的可视化而设计的，并不需要处理大数据集或分页。这一限制促使开发团队在 2023 年底优先考虑这些功能。
扩展使用案例
为了更好地服务开发者社区，Dunes 采用了一种整体方法，专注于现实使用案例而不是具体的功能请求。这一策略包括创建用户故事，详细描述了各种需求，如搜索和过滤大数据集、将数据导入图表以及对加密交易进行数据科学分析。这些洞察引导了一个更灵活和强大的 API 的开发。
DuneSQL 和查询结果
Dunes 上的所有数据都可以使用 DuneSQL 进行查询，它采用 Trino，一个分布式查询引擎。虽然 DuneSQL 功能强大，但在新需求上，如低延迟响应和成本效益执行方面，仍面临挑战。这促使团队寻求替代解决方案。
采用 DuckDB
在评估了各种选项后，Dunes 选择了 DuckDB，因为它支持 JSON 和 Parquet 数据格式、高性能 SQL 引擎、灵活性和易用性。DuckDB 让 Dunes 能够快速加载和缓存查询结果，使 API 请求能够在 100 毫秒以内响应。这一集成显著提高了 API 的性能和成本效益。
新功能和 API
DuckDB 的集成为 Dunes API 启用了一些新功能：
此外，这些功能无缝集成到 Dunes 的其他功能中，如查询调度器和物化视图，增强了整体开发者体验。
结论
Dunes 集成 DuckDB 代表着在解决用户需求和扩展其 API 功能方面向前迈出了重要的一步。这一战略举措不仅解决了即时的功能请求，还为将来的增强奠定了基础，使 Dunes API 成为一个功能更强大的开发工具。
更多详情，请访问 Dunes 的 API 文档。
Image source: Shutterstock