通过Flink WebUI仪表盘上传的jar包默认存储在哪个目录下？
在 Flink WebUI 上是可以查看上传 jar 包的存放目录的。打开 Flink WebUI，点击 Job Manager，再点击 Configuration 标签页，配置项 web.tmpdir 对应的值即为上传后的 jar 包的存放目录，具体如下图所示：
登录服务器，使用 ll 命令查看目录内容：
1 | $ ll /tmp/flink-web-cc812fd4-effb-48f0-8ef2-d67f0700f1b4/flink-web-upload/ |
需要注意的是，存放在默认路径下的 jar 包，会在 Job Manager 重启后被删除。如果重启 Job Manager 后还想保留之前上传的 jar 包，可以在 Flink 的配置文件 flink-conf.yaml 添加 web.upload.dir 配置，将上传的 jar 包存放到指定的路径上。如以下配置会将上传的 jar 包存放在目录 /opt/flink-web-upload 下，其中子目录 flink-web-upload 是 Flink 程序自动创建的。
1 | web.upload.dir: /opt |
通过在 Flink WebUI 上传好 jar 包后，登录服务器，查询 /opt/flink-web-upload 目录：
1 | # ll /opt/flink-web-upload |
此时，重启 Job Manager，之前已经上传的 jar 包会继续保留。
（END）
All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
Related Articles
2023-09-10
了解Flink中的History Server：记录和展示作业历史信息的重要工具
Flink 中的 History Server 是一个非常有用的组件，可以在相应的 Flink 集群关闭之后查询已完成作业的统计信息。并且，它还提供了一个 REST API，可接受 HTTP 请求并以 JSON 数据作为响应。本文将详细介绍 Flink History Server 的工作原理和主要功能。 一、History Server工作原理Apache Flink 自带了一个 HistoryServer 进程，它是一个独立的 Web 服务器。HistoryServer 不参与 Flink 作业执行，仅用于展示作业的历史信息。它的工作原理如下： JobManager 会将已完成的作业的信息以存档文件的形式写入 HDFS 或者其他持久存储中。 HistoryServer 读取这些存档文件，并提供 Web 界面展示其信息内容。 用户通过 HistoryServer 的 Web UI 查看作业记录和运行数据。 每个作业完成后，JobManager 会把该作业的信息打包成一个个 JSON 格式的归档文件，包括作业配置信息、作业执行过程中的 Checkpoint 信息、已完成作业的...
2022-08-24
【Flink作业运行出错】beyond the 'PHYSICAL' memory limit. Killing container
问题描述Flink 版本：1.13.6 部署模式：Flink On YARN Application Mode 当 Flink 作业在 YARN 上运行了几天之后，容器会因为物理内存使用超出物理内存限制而被杀死，并报如下错误： 1234567892022-08-12 12:36:04,168 WARN akka.remote.ReliableDeliverySupervisor [] - Association with remote system [akka.tcp://flink@flink-node-06:42477] has failed, address is now gated for [50] ms. Reason: [Association failed with [akka.tcp://flink@flink-node-06:42477]] Caused by: [java.net.ConnectException: Connection refused: flink-node-06/10.10.17.255:424...
2022-09-15
Apache Flink Table Store——流批一体存储
Flink Table Store 面向更新场景的 OLAP 应用。作为流批统一存储，在 Flink 中为流式处理和批处理构建动态表，支持实时流式更新/删除变更日志摄取、实时流消费和高性能数据查询。当大量更新数据（如 MySQL 的 binlog 日志）写入 Flink Table Store 后，Flink Table Store 后台会根据主键来合并数据，默认保留最新变更后的数据。Flink Table Store 目前仍处于 beta 状态，正在快速发展，不建议直接在生产环境中使用。 出现背景在过去的几年里，得益于众多的贡献者和用户，Apache Flink 已经成为最好的分布式计算引擎之一，尤其是在大规模有状态流处理方面。然而，当试图深入了解实时数据时，仍然面临着一些挑战。在这些挑战中，一个突出的问题是缺乏满足所有计算模式的存储。 到目前为止，为了不同目的部署几个存储系统来使用 Flink 是很常见的。一个典型的部署是用于流处理的消息队列、用于批处理和即席查询的可扫描文件系统/对象存储、以及用于查找的 K-V 存储。但这种架构由于复杂性和异构性，在数据质量和系统维护方...
2024-10-29
Running Multiple Pipelines in Apache Flink: Separate Jobs vs. Single Job with Multiple Pipelines
When it comes to building data processing flows in Apache Flink, there are times you might want to run multiple independent pipelines, ideally sharing resources for efficiency. Here, we explore two common approaches to achieve this and provide a practical guide to help decide which one best suits your use case. Imagine you have two independent flows that look like this: Flow 1: Source1 -> operator1 -> Sink1 Flow 2: Source2 -> operator2 -> Sink2 The goal is to use a single Flin...
2022-09-16
Apache Flink Table Store 快速入门
本文通过一个示例来简要介绍如何使用 Apache Flink Table Store。 步骤一：下载 Flink 注意：Flink Table Store 仅从 Flink 1.14 开始支持。 本示例使用的是 Flink 1.15.2 版本，使用 wget 下载： 1wget https://dlcdn.apache.org/flink/flink-1.15.2/flink-1.15.2-bin-scala_2.12.tgz 下载完成之后，解压文件： 1tar -xzf flink-1.15.2-bin-scala_2.12.tgz 本示例中，flink 的安装目录为 /mnt/d/flink-1.15.2 。为便于本文的后续说明，这里使用 ${FLINK_HOME} 代指 flink 的安装目录。 解压后的文件目录如下： 12345678910111213➜ flink-1.15.2 lltotal 616K-rwxrwxrwx 1 root root 12K Aug 17 20:10 LICENSE-rwxrwxrwx 1 root root 600K Aug 18 ...
2022-10-08
运行第一个Flink应用
准备工作 基于 UNIX 环境 如果使用的是 Windows 环境，可以安装虚拟机软件（如 VMware Workstation Pro）并配置一个 Linux 系统（如 CentOS 8，Ubuntu 等）的虚拟机，也可以安装 Cygwin（ 一个 Windows 下的 Linux 环境），或者配置 WSL (Windows Subsystem for Linux, Windows 10 中新加的功能）。 这里运行环境为 Windows 10 的 Linux 子系统： 1234➜ /opt cat /proc/versionLinux version 4.4.0-19041-Microsoft (Microsoft@Microsoft.com) (gcc version 5.4.0 (GCC) ) #488-Microsoft Mon Sep 01 13:43:00 PST 2020➜ /opt cat /etc/issueUbuntu 20.04.4 LTS \n \l 安装 Java 8 1234➜ /opt java -versionjava version ...