推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
sadhen
V2EX  ›  Python

管理 Jupyter Labs 和 Notebooks 的最佳实践

  •  1
     
  •   sadhen ·
    darcy-shen · Oct 25, 2022 · 2768 views
    This topic created in 1295 days ago, the information mentioned may be changed or developed.

    Template Project: https://github.com/da-tubi/jupyterlab-best-practice

    三个优点:

    • Free yourself of Python virtual environment
    • Reproducible because of the dependencies lock mechanism
    • As Easy as bin/lab xyz to launch a JupyterLab

    Hacknews (觉得可以,帮忙顶一下): https://news.ycombinator.com/item?id=33327866

    9 replies    2022-11-09 03:52:43 +08:00
    c0xt30a
        1
    c0xt30a  
       Nov 2, 2022
    用个 docker 就完了啊……
    sadhen
        2
    sadhen  
    OP
       Nov 2, 2022
    @c0xt30a 改一个依赖,重新构建一次?

    那还不如用 conda 创建虚拟环境。
    c0xt30a
        3
    c0xt30a  
       Nov 2, 2022
    有之前的 cache ,滚动加依赖,构建起来不慢的。
    依赖于主系统最大的问题是将来系统升级的时候麻烦。
    sadhen
        4
    sadhen  
    OP
       Nov 2, 2022
    @c0xt30a 我大概知道你的思路了,比如新增一个依赖,就新增一个 docker 的 layer

    这确实是一个不错的思路。
    sadhen
        5
    sadhen  
    OP
       Nov 2, 2022
    还有一个小伙伴推荐我用 Nix 来解决这个问题。我觉得 Nix 和 Docker 都很好,就是有点杀鸡用牛刀的感觉。
    m8syYID5eaas8hF7
        6
    m8syYID5eaas8hF7  
       Nov 8, 2022
    @c0xt30a 这个也有各种问题,我们之前有个项目依赖一些库,opencv/lightgbm 之类的,每个库都很大,有时候最顶层需要升级版本打包一次非常耗时,是不是又其他更好的容器能解决这个痛点的?
    sadhen
        7
    sadhen  
    OP
       Nov 8, 2022
    @LINEX 你觉得我这个方案怎样?不会有 docker 这种额外的开销
    sadhen
        8
    sadhen  
    OP
       Nov 8, 2022
    这里有一个简化版: https://www.v2ex.com/t/893320
    c0xt30a
        9
    c0xt30a  
       Nov 9, 2022
    @LINEX 容器化是为了跟宿主系统解耦合,可以保证很多年之后这套系统依旧能用,一般用来做部署。我有很多 TF 1.x 时候写的模型现在只能在容器里运行 /训练了。 如果是当作开发环境而且经常更新,容器并不是一个合适的解决方案。个人看法。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1156 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 17:42 · PVG 01:42 · LAX 10:42 · JFK 13:42
    ♥ Do have faith in what you're doing.