• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Morriaty
V2EX  ›  程序员

想问下大厂的同学们你们的 NLP 基础设施是什么样的

  •  
  •   Morriaty · Nov 17, 2020 · 2774 views
    This topic created in 2032 days ago, the information mentioned may be changed or developed.
    网上更多的 NLP 资料要么是炼丹论文,要么是《 xxx 算法详解》,几乎没有看到一个完备的文章去介绍一个工业界落地的基础架构设施是什么样的
    Supplement 1  ·  Nov 17, 2020
    从最底层的词库管理等开始,到其上的分词、POS 、NER 等任务,再到分类、摘要、生成等服务,最后到电商、资讯的应用场景,一个 robust 的系统是什么样的?
    6 replies    2020-11-18 12:36:40 +08:00
    threeEggs123
        1
    threeEggs123  
       Nov 17, 2020 via Android
    sklearn 做了一个模型。然后用 flask,暴露一个 api,搞定了。是做文本分类。部署方式就是 docker 镜像,部署到 ecs 上面去了。

    https://zhuanlan.zhihu.com/p/47349497
    lsvih
        2
    lsvih  
       Nov 17, 2020
    以前 Uber 机器学习平台的介绍

    https://juejin.im/post/6844903497809264653
    Morriaty
        3
    Morriaty  
    OP
       Nov 17, 2020
    @lsvih 机器学习工作流这部分的抽象和拆解很清晰
    andj4cn
        4
    andj4cn  
       Nov 18, 2020
    @threeEggs123 数据量上来 Flask 会不会表现很差,仅靠单机内存计算的话。
    Morriaty
        5
    Morriaty  
    OP
       Nov 18, 2020
    过于真实,全是收藏的🤣
    threeEggs123
        6
    threeEggs123  
       Nov 18, 2020 via Android
    @andj4cn 我们的需求是文本多分类,
    比如 I love u -> api -> 喜欢。
    api 就告诉我们这句话的 tag 是什么。
    至于高并发的情况下,我们也考虑到了,部署方式是 ECS,默认三台机器,有对应的扩容缩容策略。负载均衡的平摊 api 请求。数据量上来了,我理解的是高并发哈。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2590 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 16:07 · PVG 00:07 · LAX 09:07 · JFK 12:07
    ♥ Do have faith in what you're doing.