Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。
What’s On In Databend
探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。
使用 Databend 查询位于 HuggingFace 文件系统上的数据
HuggingFace 是目前最火热的 AI 社区。Databend 现已支持直接查询和分析存储在 HuggingFace 文件系统中的海量数据和模型,帮助您释放数据潜能。
URI格式:hf://{repo_id}/path/to/file
,其中repo_id
类似 fka/awesome-chatgpt-prompts
。
支持的配置包括:
-
repo_type
: HuggingFace 仓库类型,默认为dataset
,可用选项有dataset
,model
。 -
revision
: HuggingFace 修订版本,默认为main
。可以是仓库中的分支、标签或提交。 -
token
: HuggingFace 的 API 令牌。
下面示例使用 Databend 查询 fka/awesome-chatgpt-prompts
,列出其中 CSV 文件第一列的 5 条数据。
如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。
- PR #14304 | feat: Add huggingface support
Code Corner
一起来探索 Databend 和周边生态中的代码片段或项目。
了解 Databend 与 MySQL,Oracle 之间的类型对照
Databend | MySQL | Oracle |
---|---|---|
TINYINT | TINYINT | NUMBER(3,0) |
SMALLINT | SMALLINT | NUMBER(5,0) |
INT | INT | NUMBER(10,0) |
BIGINT | BIGINT | NUMBER(19,0) |
FLOAT | FLOAT | FLOAT |
DOUBLE | DOUBLE | FLOAT(24) |
DECIMAL | DECIMAL | FLOAT(24) |
DATE | DATE | DATE |
TIMESTAMP | TIMESTAMP | NUMBER |
DATETIME | DATETIME | DATE |
YEAR | INT | NUMBER |
VARCHAR | VARCHAR | VARCHAR2 |
VARCHAR | CHAR | CHAR |
VARBINARY | VARBINARY | RAW, BLOB |
VARCHAR | VARCHAR | VARCHAR2 |
VARCHAR | VARCHAR | RAW, CBLOB |
VARBINARY | VARBINARY | RAW, BLOB |
VARCHAR | VARCHAR | RAW, CBLOB |
VARCHAR | VARCHAR | VARCHAR2 |
VARCHAR | VARCHAR | VARCHAR2 |
ARRAY | N/A | N/A |
BOOLEAN | N/A | N/A |
TUPLE | N/A | N/A |
MAP | N/A | N/A |
JSON, VARIANT | JSON | JSON |
BITMAP | N/A | N/A |
Highlights
以下是一些值得注意的事件,也许您可以找到感兴趣的内容。
- 新增 Binary 数据类型,并且支持 String 和 Binary 之间的转换。
- 支持自适应的 filter reorder 。
- 支持 JSON 处理函数
concat
。 - 支持自动刷新
ReadOnlyAttach
的表模式。
What’s Up Next
我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。
支持任务建议系统表
Databend 计划支持 task_advice
系统表,为日常运维提供有效洞见,帮助数据库运维人员更轻松自如地管理数据。
catalog_name | database_name | table_name | task_type | need_run | task_sql | reason(variant) |
---|---|---|---|---|---|---|
default | db | xx | COMPACT | 1 | optimize table xx compact limit 3 | “{status in json}” |
default | db | xx | AGGREGATING_INDEX | 0 | refresh aggregating index xx_agg_idx limit 10 | “{status in json}” |
default | db | yy | ADD_CLUSTER_KEY | 1 | alter table yy cluster by(col1) | “{status in json}” |
Issue #14323 | feat: task_advice system table
如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!
Changelog
前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感谢贡献者们在本周的卓越工作。
Connect With Us
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。
- Databend Website
- GitHub Discussions
- Slack Channel