Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
fescover
V2EX  ›  Linux

Linux 怎么运行 puppeteer

  •  
  •   fescover · Feb 19, 2024 · 3545 views
    This topic created in 818 days ago, the information mentioned may be changed or developed.

    之前跑 puppeteer 都是在 windows 或者 macos 上,有可视化界面,通过 puppeteer 启动谷歌浏览器然后跑任务,但是像 debian ,centos 这种纯命令行的 linux, 没法安装 chrome 或者 chromium 浏览器,怎么运行 puppeteer 呢

    13 replies    2024-02-20 16:51:35 +08:00
    0o0O0o0O0o
        1
    0o0O0o0O0o  
       Feb 19, 2024 via iPhone
    headless mode 或者 xvfb
    67373net
        2
    67373net  
       Feb 19, 2024
    我是先装一个 chromium ,再用 npm 装 puppeteer ,在 nodejs 里使用的,很久前弄的忘记细节了,好像当时匹配版本和缓存目录啥的折腾了一下
    67373net
        3
    67373net  
       Feb 19, 2024
    好像记错了,是装的 chrome ,反正命令行的关键词是「无头模式」
    dontLookAvatar
        4
    dontLookAvatar  
       Feb 19, 2024
    docker
    weijancc
        5
    weijancc  
       Feb 19, 2024
    我以前在 windows 用 puppeteer 都是用无头模式的, 爬取更快, 在 Linux 上当然也可以
    DingJZ
        6
    DingJZ  
       Feb 19, 2024
    puppeteer 的文档里有写啊
    mogita
        7
    mogita  
       Feb 19, 2024 via iPhone
    跟着文档走吧,有手把手章节。我按照说明打包进 docker 镜像都可以,宿主环境运行不会更复杂。
    512357301
        8
    512357301  
       Feb 20, 2024 via Android
    建议用一下午时间学一下 docker ,常用 linux 软件可以实现一键部署
    param
        9
    param  
       Feb 20, 2024 via Android
    就算是 headless mode ,也要装一堆 gui 相关的依赖
    defunct9
        10
    defunct9  
       Feb 20, 2024 via iPhone
    现在天天在 ubuntu 下跑 puppyteer ,跟苹果的 gsx2 和自有的 boms 做交互,装个 rdp 就可以了
    minicoder
        11
    minicoder  
       Feb 20, 2024   ❤️ 1
    你的需求跟我很像
    针对有反爬机制的网站,必须使用有头模式运行浏览器,否则会被目标网站抓取到特征值。
    安装 xvfb 模拟桌面端环境 就可以解决你的问题。
    bakaft
        12
    bakaft  
       Feb 20, 2024
    “没法安装 chrome 或者 chromium 浏览器”

    包管理器尽管 *可能* 会安装 GUI 相关的依赖,但是基本不会因为你没有屏幕或者桌面而阻碍你安装 Chrome/Chromium.
    自 Chrome 59 起,安装中会随附无头 Chrome ,使用 `--headless`参数就可以了。

    参考:
    https://www.google.com/chrome/?platform=linux
    https://support.google.com/chrome/a/answer/9025903?hl=en&ref_topic=9025817&sjid=16181384649920985311-AP
    https://developer.chrome.com/blog/headless-chrome?hl=zh-cn#tldr
    libook
        13
    libook  
       Feb 20, 2024
    根据我个人的经验,除了 Ubuntu 以外,基本都可以安装 chrome 、chromium 来跑无头 puppeteer ,你直接装试试,实在不行就用别人打好的容器镜像,或者 browserless 这种项目。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3091 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 00:32 · PVG 08:32 · LAX 17:32 · JFK 20:32
    ♥ Do have faith in what you're doing.