frankkai
V2EX  ›  问与答

Linux 在大数据开发中扮演的角色是什么,掌握程度要求多少?

  •  
  •   frankkai · Jul 12, 2017 · 6189 views
    This topic created in 3279 days ago, the information mentioned may be changed or developed.

    Linux 小白一只,昨晚刚刚在虚拟机上装了 Ubuntu14.04 。 很想知道 Linux 和 Windows 系统本质上有什么区别,除了 Windows 是游戏机这个梗以外。 目前我只知道 Hadoop 集群是建立在 Linux 系统之上的,但是不明白: Linux 在大数据开发中扮演的角色是什么,需要对其掌握到什么程度? 有没有前辈指点指点

    26 replies    2017-07-13 11:22:03 +08:00
    laoli123
        1
    laoli123  
       Jul 12, 2017
    Linux 开源、稳定性好,可不装桌面程序,常年不关机。同新手。
    Rice
        2
    Rice  
       Jul 12, 2017
    基础设施
    frankkai
        3
    frankkai  
    OP
       Jul 12, 2017
    @xiaobai987 我直接装的 desktop...不装桌面的是啥
    frankkai
        4
    frankkai  
    OP
       Jul 12, 2017
    @Rice 什么基础设施呢
    yunkchen
        5
    yunkchen  
       Jul 12, 2017   ❤️ 1
    大数据的分布式集群( Hadoop,Spark )都是搭建在多台 Linux 系统上,对集群的执行命令都是在 Linux 终端窗口输入的;
    楼主可以尝试自己搭建一个 hadoop 集群体验一下。
    可以参考: http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html
    Rice
        6
    Rice  
       Jul 12, 2017
    @frankkai #3 你学过 java 么?几年经验?
    laoli123
        7
    laoli123  
       Jul 12, 2017
    @frankkai 纯命令行啊
    frankkai
        8
    frankkai  
    OP
       Jul 12, 2017
    @xiaobai987 iso 文件名是什么,我知道是终端命令行...
    frankkai
        9
    frankkai  
    OP
       Jul 12, 2017
    @Rice mei 在学校学过一些,应届生
    frankkai
        10
    frankkai  
    OP
       Jul 12, 2017
    @yunkchen 手动感谢
    Rice
        11
    Rice  
       Jul 12, 2017 via iPhone   ❤️ 1
    @frankkai 我觉得楼主还是做几年 JAVA 后台在研究大数据吧,你基础知识不牢固,要不就考研。
    frankkai
        12
    frankkai  
    OP
       Jul 12, 2017
    @Rice 谢谢前辈指点~
    jason2017
        13
    jason2017  
       Jul 12, 2017   ❤️ 1
    需要掌握到什么程度呢?
    首先,把基础命令学会了,可以参考鸟哥私房菜,基础部分,了解下 linux 系统的运行原理。
    重点几部分:用户权限、环境变量的配置、vim 命令、yum (或者 apt-get、根据不同开源版本)、ps、netstat、grep
    这些基本掌握大概需要一个星期,然后你再去鼓捣 hadoop 会比较好。先装单机的,后面真正分布式的,你还要学会 ssh 证书登陆的配置、scp 等命令。
    frankkai
        14
    frankkai  
    OP
       Jul 12, 2017
    @xiaobai987 我知道了,可以用 ctrl+alt+f1 切换的到命令行
    Em5O7B1JGfjQnBry
        15
    Em5O7B1JGfjQnBry  
       Jul 12, 2017 via Android
    装 Ubuntu14.04 是为了考古么
    albertofwb
        16
    albertofwb  
       Jul 12, 2017 via Android
    @svenFeng 话不能这么说,现在装 win7 的也大有人在
    mooncakejs
        17
    mooncakejs  
       Jul 12, 2017
    我觉得未来就是跑 docker 的母鸡
    v2dead
        18
    v2dead  
       Jul 12, 2017   ❤️ 1
    你都想知道 linux 和 windows 有什么本质区别了,为什么不去看看操作系统这本书呢。。。
    windows 和 linux 都只是操作系统而已,本身只是为了管理内存,调度进程,处理网络协议栈这些乱七八糟事物,要说区别可能就是:一个开源,一个闭源并且有非常明显的购买成本。这当然会导致一些外部的生态环境的区别,很多开源的软件第一优先考虑的肯定是 linux 平台嘛。
    不过要是微软自己出大数据平台构建方案,我觉得也会有不少公司跟进的,因为基于 linux 开源的平台后面的隐性成本很多时候都超过 windows 的直接购买成本的。
    不过像大数据这种很可能以后都是以服务形式提供,其实你学不学 linux,可能在未来几年使用大数据完全没什么影响。数据就是数据,本身就是和平台无关的。
    rwecho
        19
    rwecho  
       Jul 12, 2017
    自带 python
    e1eph4nt
        20
    e1eph4nt  
       Jul 12, 2017
    骗回复的吧。。。你要是一开始就不知道,在这儿问也问不出来。。。
    frankkai
        21
    frankkai  
    OP
       Jul 12, 2017
    @e1eph4nt 不知道才问啊,有什么问题吗?
    frankkai
        22
    frankkai  
    OP
       Jul 12, 2017
    那我赶紧下一个 16.04...
    frankkai
        23
    frankkai  
    OP
       Jul 12, 2017
    @v2dead 谢谢你的回答,操作系统的话,现在正在看...
    mritd
        24
    mritd  
       Jul 12, 2017 via iPhone
    @mooncakejs 哈哈 不过有些东西还是没法 docker 化的
    mooncakejs
        25
    mooncakejs  
       Jul 12, 2017
    @mritd 当然没法完全取代,但是结果就是 linux 运维人员大大减少呗。
    e1eph4nt
        26
    e1eph4nt  
       Jul 13, 2017
    @frankkai 没问题,请继续吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3173 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 02:40 · PVG 10:40 · LAX 19:40 · JFK 22:40
    ♥ Do have faith in what you're doing.