Clickhouse,你们是怎样防止重复插入数据的呢

wmhack 28天前 16

怎样防止一条 id 相同的数据重复插入进去呢

或者能覆盖旧数据也行

最新回复 (9)
  • yuanmomo 19天前
    引用 2
    唯一键
  • 楼主 wmhack 19天前
    引用 3
    @yuanmomo 查了一下 clickhouse 手册,没有唯一键的语句额,方便说一下吗
  • Evrins 19天前
    引用 4
    Replacemergingtree
  • yuanmomo 19天前
    引用 5
    @wmhack 不好意思,我不知道 clickhouse 是 olap 的数据库,我当成了一个应用。

    看看看这里吧

    https://github.com/ClickHouse/ClickHouse/issues/3386
  • Leviathann 19天前
    引用 6
    @wmhack replace merging tree 会把 order by 的键作为唯一键,异步把相同唯一键的数据合并
  • xx19941215 19天前
    引用 7
    club house 一眼看成这个
  • iluckypig 19天前
    引用 8
    ReplacingMergeTree,原理就是 merge 的时候会把 order by 键相同的数据覆盖掉,https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replacingmergetree/
  • RangerWolf 19天前
    引用 9
    上面的 replace merge tree 我觉得都没法达到楼主想要的效果。两个很大的问题:
    1. 及时性,经常会出现重复数据。因为是异步更新( final 性能很低)
    2. 性能,merge 的性能极低
  • 楼主 wmhack 19天前
    引用 10
    @RangerWolf 确实是的,我试了一下 replace merge,延迟更新确实挺难受的
  • 游客
    11
返回