git
Pro Git
Atlassian Git Tutorial
Pro Git 简体中文翻译
GitX
nealwx
V2EX  ›  git

git 有没有什么好的方法可以抓超过 10G 的 code

  •  
  •   nealwx · Nov 9, 2016 · 5511 views
    This topic created in 3470 days ago, the information mentioned may be changed or developed.

    前提:公司的代码托管在 xp-dev 上,主分支大概 10G 多

    国内直接抓的话速度在 20~30k/s
    
    使用代理( ss )抓的话,速度能到 2~3M/s 。
    
    但问题是, 每次透过 ss 进行 git clone 的时候,代码大概抓了 3G 多的时候,就会提示
    
    Write failed : Broken pipe
    fatal: The remote end hung up unexpectedly
    .....
    
    然后就结束了,什么都没有抓下来
    

    请问:有没有什么好一点的方法可以相对快速的将代码抓回本地,谢谢。

    34 replies    2016-11-10 17:45:51 +08:00
    kmahyyg
        1
    kmahyyg  
       Nov 9, 2016 via Android
    先抓到 vps 再拖回来
    run2
        2
    run2  
       Nov 9, 2016
    10G 多...
    完全无法想象,不能分 submodule 么?
    jwk345
        3
    jwk345  
       Nov 9, 2016 via iPhone
    压缩拷回来
    wohenyingyu02
        4
    wohenyingyu02  
       Nov 9, 2016 via iPhone
    --depth=1 ?
    lhbc
        5
    lhbc  
       Nov 9, 2016
    git clone
    tar Jcf source.tar.xz source
    nealwx
        6
    nealwx  
    OP
       Nov 9, 2016
    @wohenyingyu02 试过,还是抓不下来
    nealwx
        7
    nealwx  
    OP
       Nov 9, 2016
    @jamesxu 可是没有操作权限
    akira
        8
    akira  
       Nov 9, 2016
    临时租个近一点的 vps ,把代码克隆下来以后压缩慢慢拉回来
    wsy2220
        9
    wsy2220  
       Nov 9, 2016
    git bundle
    pagxir
        10
    pagxir  
       Nov 9, 2016 via Android
    1 你需要的是一个稳定的网络,把代码同步完然后 git bundle create 。。。。。
    2 试试每次只 fetch 少量的 commit 。 git fetch origin commit 这么操作。
    iCyMind
        11
    iCyMind  
       Nov 9, 2016
    不要把思路局限在 git 上, 试试别的什么 Resilio sync 之类的
    iminto
        12
    iminto  
       Nov 9, 2016
    试试其他版本控制系统
    gky99
        13
    gky99  
       Nov 9, 2016 via iPhone
    ss 不适合你的需求,搭个 vpn 吧。
    走 ipv6 会更好
    tinyproxy
        14
    tinyproxy  
       Nov 9, 2016
    这么肥的仓库,最快的方式不是让你同事打包.git 文件夹拷贝给你么?
    如果你是远程工作或者你在的 site 只有你一个人干这个活当我没说。。。
    misaka19000
        15
    misaka19000  
       Nov 9, 2016
    找个在外国的人帮忙抓取一下然后打包发给你
    Tink
        16
    Tink  
    PRO
       Nov 9, 2016
    是在 github 上吗? 是的话我还是建议直接下载 zip,能续传
    winglight2016
        17
    winglight2016  
       Nov 9, 2016
    可以压缩 git 库的呀, github 都有这功能
    haozibi
        18
    haozibi  
       Nov 9, 2016 via Android
    fetch 好像支持断点续传,没试过这么大的仓库
    bramblex
        19
    bramblex  
       Nov 9, 2016   ❤️ 1
    6666

    肯定绝大多数都不是代码,而是二进制文件。 /w\
    Chrisplus
        20
    Chrisplus  
       Nov 9, 2016
    直接抓
    git clone
    然后,回家睡觉
    exch4nge
        21
    exch4nge  
       Nov 9, 2016
    话说楼主不会用了 http/https 的方式吧……
    waytoexplorer
        22
    waytoexplorer  
       Nov 9, 2016 via iPhone
    先克隆到自己在国外的 vps 上,然后再打包下载
    Liutos
        23
    Liutos  
       Nov 9, 2016
    难道是游戏代码+素材
    nealwx
        24
    nealwx  
    OP
       Nov 9, 2016 via Android
    @exch4nge 不是,是 ssh 的方式
    lzhr
        25
    lzhr  
       Nov 9, 2016
    csdn 、 oschina 的可以导入 github 的项目,试试?
    nealwx
        26
    nealwx  
    OP
       Nov 9, 2016 via Android
    @Liutos @bramblex 最早的 git log 是 08 年的,全是 c/c++ 以及一些页面和图片
    nealwx
        28
    nealwx  
    OP
       Nov 9, 2016
    @exch4nge 明天试试
    Technetiumer
        29
    Technetiumer  
       Nov 9, 2016
    这个 xp-dev 是啥?如果是百度第一个结果,注册时候不是有地区么,找个那个地区的 VPS ,先 clone 到 VPS 上。

    @lzhr oschina 和 coding 的导入基本没戏,太大了肯定失败。

    ( oschina 和 coding 不是只能导入 github 的项目,其他也可以)
    Monad
        30
    Monad  
       Nov 9, 2016
    @nealwx 这个方法可以 我当初就是用这个方法 clone 了一个 Chromium...
    itlr
        31
    itlr  
       Nov 9, 2016
    是不是把 window7 的盗版盘都 commit 进去了:)
    nexusone
        32
    nexusone  
       Nov 10, 2016 via Android
    我这有爬 github 项目的爬虫,通过 http 爬取,后台用多线程下载,一般挺快
    holy_sin
        33
    holy_sin  
       Nov 10, 2016
    真倒霉,我之前也遇到过这种情况,里面好多提交都有 *.lib ,一个文件就 100 M 大小
    ivechan
        34
    ivechan  
       Nov 10, 2016
    试过用 ipv6 下载过 chromium 源码, 20 多 G 把, 10M/s 的速度.
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1031 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 116ms · UTC 19:22 · PVG 03:22 · LAX 12:22 · JFK 15:22
    ♥ Do have faith in what you're doing.