RENKTH
V2EX  ›  问与答

这个 300M 如何计算?为什么我算的 150M 左右

  •  
  •   RENKTH · Nov 12, 2019 via iPad · 1512 views
    This topic created in 2384 days ago, the information mentioned may be changed or developed.

    大量的小文件:由于 namenode 将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于 namenode 的内存容量。根据经验,每个文件,目录和数据块的存储信息大约占 150 字节

    3 replies    2019-11-12 21:32:26 +08:00
    RENKTH
        1
    RENKTH  
    OP
       Nov 12, 2019 via iPad
    据存储在内存中,因此该文件系统所能存储的文件总数受限于 namenode 的内存容量。根据经验,每个文件、目录、数据块的存储信息大约占 150 字节。举例来说,如果有一百万个文件,每个文件占用一个数据块,那至少需要 300MB 的内存。


    没复制完 补上
    RENKTH
        2
    RENKTH  
    OP
       Nov 12, 2019 via iPad
    这是 Hadoop 权威指南 3.1 节内容 大量的小文件的内容,我自己算需要的的内存大小是 150x1000000/1024/1024=143.051 但是不知道为什么书里说需要 300m 大小
    zmj1316
        3
    zmj1316  
       Nov 12, 2019 via Android
    空文件占 150,文件有一个数据块占 150 这么算?我字面理解的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2470 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 01:08 · PVG 09:08 · LAX 18:08 · JFK 21:08
    ♥ Do have faith in what you're doing.