• 请不要在回答技术问题时复制粘贴 AI 生成的内容
rogergood
V2EX  ›  程序员

关于时空大数据的存储和查询,目前业界常见的解决方案以及难点有哪些?

  •  
  •   rogergood · Mar 11, 2019 · 3771 views
    This topic created in 2626 days ago, the information mentioned may be changed or developed.

    这里的时空大数据指的是包含空间信息(经度、维度)和时间信息的多维度数据。常见的应用场景包括打车服务(指定时间段指定区域的范围查询)、指定区域内的广告推荐和投放等。

    这个是毕设在做的东西,目前也调研了一些方案

    • 基于 PostgreSQL+PostGIS,这种对地理信息有着较好的支持。

    • 有论文提出基于 HBase 等这种分布式的 NoSQL 来进行改进,使其支持这种多维度的数据查询。

    目前比较疑惑的有下面一些

    • 目前业界常见的存储和查询的解决方案是怎样的?用 PostgreSQL+PostGIS 这种传统的数据库,大数据量下扩展和维护成本似乎很高,时间维度的支持也较为一般。而 HBase 这些对多维度信息的查询功能较单一,只能满足某些特定的查询需求。

    • 业界在这方面的难点还有哪些?

    6 replies    2019-03-12 09:56:30 +08:00
    TypeErrorNone
        1
    TypeErrorNone  
       Mar 11, 2019
    1
    jzmws
        2
    jzmws  
       Mar 11, 2019
    你是搞 gis???
    rust
        3
    rust  
       Mar 11, 2019 via Android   ❤️ 1
    MongoDB
    hilbertz
        4
    hilbertz  
       Mar 11, 2019   ❤️ 1
    只有 postgis 的 n 维索引才能真正高效的支持时空索引,其他基于时空填充曲线和 btree 的索引都是低效的,时空数据本身就能很好的分区,postgresql 完全能处理海量数据
    cheava
        5
    cheava  
       Mar 12, 2019 via Android   ❤️ 2
    基于 hbase 的时空数据库 geomesa 了解下?
    rogergood
        6
    rogergood  
    OP
       Mar 12, 2019
    @jzmws 嗯最近以及后一阶段会搞 gis 相关的大数据

    @hilbertz 请问一下,postgresql 表是有大小限制的,在处理海量数据时,是不是需要人为的按照时间(比如说年份)、地理区域进行分表或分库的操作?

    @cheava 好的,我看一下

    @rust 我看到一篇博客( https://www.cnblogs.com/zhenbianshu/p/6817569.html )里提到 MongoDB 中的空间索引在较大数据量下,性能较 postgis 会有一定的下降
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5669 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 135ms · UTC 02:08 · PVG 10:08 · LAX 19:08 · JFK 22:08
    ♥ Do have faith in what you're doing.