mirror of
https://gitee.com/ulthon/ulthon_admin.git
synced 2026-08-30 12:45:32 +08:00
feat(nginx-log): 多节点适配（node_id 全链路 + 全局/按节点聚合 + 节点筛选 + v2.4.0 升级脚本）
- 6 张表加 node_id 字段 + position/stat 改复合唯一键（migration） - 6 个 Scheme 同步 node_id 注解 + 唯一键 - Reader 带 node_id 参数 + 懒加载接管（getLastPosition 回退查 node_id=''） - Aggregator 全局行（node_id=''）+ 按节点循环 insertAggregatesForScope - Stat 所有查询方法加 where node_id 条件 - Dashboard 控制器/视图加节点筛选下拉框 + AJAX 带 node_id - AccessLog 列表加节点列 + 采集进度卡片显示节点信息 - import 定时任务 run_type 改 all（每节点采集自己的日志） - v2.4.0 升级脚本追加 ALTER TABLE（幂等 check-then-alter） - 菜单调整：去掉 Nginx 顶级菜单 + 读取位置管理，改为系统管理下挂两个子菜单 - ulthon-timer 文档补充 run_type=all 多节点部署注意事项
This commit is contained in:
augushong
@@ -13,11 +13,12 @@
|
||||
* stat_retention_days 统计聚合保留天数（0=永久）
|
||||
* topn_default Top N 默认值
|
||||
* exclude_static 是否排除静态资源访问
|
||||
* - system_menu 新增 4 条菜单（顶级分组 300 + 3 个子菜单 301/302/303）
|
||||
* 300 Nginx 日志分析（顶级分组，href 为空）
|
||||
* - system_menu 新增 2 条菜单（挂到系统管理 pid=228 下）
|
||||
* 301 访问统计仪表盘 system.nginx_log_stat/index
|
||||
* 302 原始访问日志 nginx.access_log/index
|
||||
* 303 读取位置管理 nginx.log_position/index
|
||||
* - ALTER TABLE：6 张 nginx_log 表新增 node_id 字段 + 唯一键前置 node_id（多节点采集支持）
|
||||
* 与 migration 20260801125222_nginx_log_add_node_id.php 保持一致，
|
||||
* 存量库通过 admin:update 幂等执行（check-then-alter）
|
||||
*
|
||||
* 设计说明：
|
||||
* - 幂等 check-then-insert（先查询存在性，不存在才插入）
|
||||
@@ -82,23 +83,12 @@ class UpdateFunction
|
||||
/**
|
||||
* 待新增菜单.
|
||||
* 字段顺序与 adminInitData/SystemMenu.php 一致：id/pid/title/icon/href/params/target/sort/status.
|
||||
* id 显式分配 300-303，与 adminInitData 保持一致（顶级 300 + 3 个子菜单）。
|
||||
* 挂到系统管理（pid=228）下，不创建独立顶级分组。
|
||||
*/
|
||||
public $newMenus = [
|
||||
[
|
||||
'id' => 300,
|
||||
'pid' => 0,
|
||||
'title' => 'Nginx 日志分析',
|
||||
'icon' => 'fa fa-chart-bar',
|
||||
'href' => '',
|
||||
'params' => '',
|
||||
'target' => '_self',
|
||||
'sort' => 0,
|
||||
'status' => 1,
|
||||
],
|
||||
[
|
||||
'id' => 301,
|
||||
'pid' => 300,
|
||||
'pid' => 228,
|
||||
'title' => '访问统计仪表盘',
|
||||
'icon' => 'fa fa-line-chart',
|
||||
'href' => 'system.nginx_log_stat/index',
|
||||
@@ -109,7 +99,7 @@ class UpdateFunction
|
||||
],
|
||||
[
|
||||
'id' => 302,
|
||||
'pid' => 300,
|
||||
'pid' => 228,
|
||||
'title' => '原始访问日志',
|
||||
'icon' => 'fa fa-file-text',
|
||||
'href' => 'nginx.access_log/index',
|
||||
@@ -118,24 +108,13 @@ class UpdateFunction
|
||||
'sort' => 0,
|
||||
'status' => 1,
|
||||
],
|
||||
[
|
||||
'id' => 303,
|
||||
'pid' => 300,
|
||||
'title' => '读取位置管理',
|
||||
'icon' => 'fa fa-map-marker',
|
||||
'href' => 'nginx.log_position/index',
|
||||
'params' => '',
|
||||
'target' => '_self',
|
||||
'sort' => 0,
|
||||
'status' => 1,
|
||||
],
|
||||
];
|
||||
|
||||
public function update()
|
||||
{
|
||||
$this->output->writeln('更新代码');
|
||||
|
||||
$this->output->info('v2.4.0：nginx_log 分析模块存量升级（补齐 4 条 sysconfig + 4 条菜单）');
|
||||
$this->output->info('v2.4.0：nginx_log 分析模块存量升级（补齐 4 条 sysconfig + 2 条菜单）');
|
||||
|
||||
$configTable = config('database.connections.mysql.prefix', 'ul_') . 'system_config';
|
||||
$menuTable = config('database.connections.mysql.prefix', 'ul_') . 'system_menu';
|
||||
@@ -190,6 +169,98 @@ class UpdateFunction
|
||||
|
||||
$totalSkipped = $configSkipped + $menuSkipped;
|
||||
$this->output->info("本次新增 {$configAdded} 条配置、{$menuAdded} 条菜单，跳过 {$totalSkipped} 条已存在");
|
||||
|
||||
// ==================== node_id 字段 + 唯一键变更（多节点采集支持）====================
|
||||
// 与 migration 20260801125222_nginx_log_add_node_id.php 保持一致
|
||||
// 6 张表全部新增 node_id varchar(64) default ''
|
||||
// position / 4 张 stat 表的唯一键前置 node_id（多节点隔离，避免聚合 INSERT 触发 duplicate key）
|
||||
// raw 表（nginx_access_log）加 node_id + time_local 普通索引，无唯一键变更
|
||||
$this->output->info('v2.4.0：nginx_log 6 张表新增 node_id 字段与唯一键调整');
|
||||
|
||||
$prefix = config('database.connections.mysql.prefix', 'ul_');
|
||||
|
||||
// 表短名 => 索引变更配置
|
||||
// drop_idx: 要删除的旧索引名（raw 表无）
|
||||
// add_idx: 新索引 [name, cols, unique]
|
||||
$nodeIdTables = [
|
||||
'nginx_log_position' => [
|
||||
'drop_idx' => 'uniq_file_path',
|
||||
'add_idx' => ['name' => 'uniq_node_file', 'cols' => ['node_id', 'file_path'], 'unique' => true],
|
||||
],
|
||||
'nginx_access_log' => [
|
||||
'add_idx' => ['name' => 'idx_node_time', 'cols' => ['node_id', 'time_local'], 'unique' => false],
|
||||
],
|
||||
'nginx_stat_hour' => [
|
||||
'drop_idx' => 'uniq_date_hour',
|
||||
'add_idx' => ['name' => 'uniq_node_date_hour', 'cols' => ['node_id', 'stat_date', 'stat_hour'], 'unique' => true],
|
||||
],
|
||||
'nginx_stat_url' => [
|
||||
'drop_idx' => 'uniq_date_uri',
|
||||
'add_idx' => ['name' => 'uniq_node_date_uri', 'cols' => ['node_id', 'stat_date', 'uri'], 'unique' => true],
|
||||
],
|
||||
'nginx_stat_referer' => [
|
||||
'drop_idx' => 'uniq_date_referer',
|
||||
'add_idx' => ['name' => 'uniq_node_date_referer', 'cols' => ['node_id', 'stat_date', 'referer_domain'], 'unique' => true],
|
||||
],
|
||||
'nginx_stat_ua' => [
|
||||
'drop_idx' => 'uniq_date_type_name',
|
||||
'add_idx' => ['name' => 'uniq_node_date_type_name', 'cols' => ['node_id', 'stat_date', 'ua_type', 'ua_name'], 'unique' => true],
|
||||
],
|
||||
];
|
||||
|
||||
$colAdded = 0;
|
||||
$colSkipped = 0;
|
||||
foreach ($nodeIdTables as $tableShort => $idxCfg) {
|
||||
$fullTable = $prefix . $tableShort;
|
||||
|
||||
// 防御性检查：表是否存在（未运行 migration 时跳过，不报错）
|
||||
$tableExists = Db::query(
|
||||
"SELECT COUNT(*) AS cnt FROM information_schema.TABLES WHERE TABLE_SCHEMA = DATABASE() AND TABLE_NAME = ?",
|
||||
[$fullTable]
|
||||
);
|
||||
if (empty($tableExists) || (int) $tableExists[0]['cnt'] === 0) {
|
||||
$this->output->writeln(" - {$fullTable} 表不存在，跳过（请先执行 migrate:run）");
|
||||
continue;
|
||||
}
|
||||
|
||||
// 幂等 1：检查 node_id 字段是否存在
|
||||
$colExists = Db::query(
|
||||
"SELECT COUNT(*) AS cnt FROM information_schema.COLUMNS WHERE TABLE_SCHEMA = DATABASE() AND TABLE_NAME = ? AND COLUMN_NAME = 'node_id'",
|
||||
[$fullTable]
|
||||
);
|
||||
if (!empty($colExists) && (int) $colExists[0]['cnt'] > 0) {
|
||||
$this->output->writeln(" - {$fullTable} node_id 字段已存在，跳过");
|
||||
++$colSkipped;
|
||||
} else {
|
||||
Db::execute("ALTER TABLE `{$fullTable}` ADD COLUMN `node_id` VARCHAR(64) NOT NULL DEFAULT '' COMMENT '采集节点 ID（空=全局汇总）'");
|
||||
$this->output->writeln(" - {$fullTable} 新增 node_id 字段完成");
|
||||
++$colAdded;
|
||||
}
|
||||
|
||||
// 幂等 2：唯一键/索引变更（检查新索引是否存在）
|
||||
$newIdx = $idxCfg['add_idx']['name'] ?? null;
|
||||
if ($newIdx !== null) {
|
||||
$idxExists = Db::query(
|
||||
"SELECT COUNT(*) AS cnt FROM information_schema.STATISTICS WHERE TABLE_SCHEMA = DATABASE() AND TABLE_NAME = ? AND INDEX_NAME = ?",
|
||||
[$fullTable, $newIdx]
|
||||
);
|
||||
if (empty($idxExists) || (int) $idxExists[0]['cnt'] === 0) {
|
||||
// 删除旧索引（position / stat 表有，raw 表无）
|
||||
if (!empty($idxCfg['drop_idx'])) {
|
||||
Db::execute("ALTER TABLE `{$fullTable}` DROP INDEX `{$idxCfg['drop_idx']}`");
|
||||
}
|
||||
// 新增新索引
|
||||
$idxType = !empty($idxCfg['add_idx']['unique']) ? 'UNIQUE' : 'INDEX';
|
||||
$colsStr = implode(', ', array_map(function ($c) {
|
||||
return "`{$c}`";
|
||||
}, $idxCfg['add_idx']['cols']));
|
||||
Db::execute("ALTER TABLE `{$fullTable}` ADD {$idxType} `{$newIdx}` ({$colsStr})");
|
||||
$this->output->writeln(" - {$fullTable} 索引调整：{$newIdx}");
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
$this->output->info("node_id 迁移完成（新增字段 {$colAdded} 表，跳过 {$colSkipped} 表已存在）");
|
||||
$this->output->writeln('更新代码完成');
|
||||
}
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user