日志采集流程

安装DOCC及插件agent

mkdir /cloudwise
chmod 755 /cloudwise 
cd cloudwise

export ipblacklist=;export isProxy=false;export rpcadressip=;export enable_deep_discover=false;export hostip=x.x.x.x:18084;export token=MTEwQDY0Nw==;export version=djEuNi4w;export agentIds=Y2ltLGNkYyxkb2Nj;export configIds=ZDY3OWQyZDBmYjQ2NTA3MTY5OWMzMjNmMGI4OWQ2YTYsNDBjM2Q0MWE5OWFlYTJlMmQ1ZTk4NGJlNDIyMDcxYzQsODM0OTFhMGIzMjAyOGFkZjEyNWI4NmZkODVlMmJiMjU=;export tagIds=;export customPath=;export isNeedAdministrator=ZmFsc2U=;export isDoccRemote=false;export doccTaskId=;export daemonInstanceId=;([[ 1 != $(command -v curl ||  echo $?) ]]  && (curl http://$hostip/api/ext/gaia/daemon/sh  -o doccsh.sh) || ([[ 1 != $(command -v wget ||  echo $?) ]] &&  (wget -O doccsh.sh http://$hostip/api/ext/gaia/daemon/sh))) && chmod u+x doccsh.sh && bash doccsh.sh -i

17:18:09 Check if doccAgent is installed
17:18:09 Path: /cloudwise
17:18:09 Detect CPU architecture
17:18:09 CPU architecture detected x86_64
17:18:09 Start download:
17:18:10 Download package completed. Start unzipping
17:18:10 unzip success
17:18:10 Unzipped and start running
17:18:10 Successfully executed filepath.
17:18:11 Successfully started.
17:18:11 Installation success
17:18:11 Symlink /root/cloudwise/agentdaemon -> /cloudwise/agentdaemon created
17:18:11 Removing installation lock file.

安装成功后,选择<节点管理/主机管理>导航栏打开<主机管理>页面,在<主机列表>中可查看到添加的主机以及对应的 Agent 信息。

添加采集监控任务

登录 DOCC 后,在左侧导航栏中单击<集成服务/任务管理>进入页面。

在<任务管理>页面,单击<新建自定义>打开<自定义采集模板>对话框。

将鼠标悬停于目标模板图标上,单击<应用>,进入日志监控任务的配置页面。(日志采集通常使用文件读取-tailx模式)

配置数据源信息:配置采集任务名、日志文件路径、日志换行表达式及数据发送方式等

信息配置完成后,单击<下一步>按钮,选择需要执行任务的目的主机,点击完成。

在提交成功页面单击<查看任务>,在该页面可查看到新建的日志采集任务详情;单击“编辑”可跳对任务进行更改并重新提交。 通过任务“读取成功总数”可判断,是否能获取到日志文件数据

dodb数据处理部分-pipeline流作业(数据处理-入表)

登录 DODB 后,在左侧导航栏中单击<数据资产/流式数据>进入页面,点击<新建>。

配置流式数据连接信息:名称、数据连接、选择对应的Kafka的topic

在左侧导航栏中单击<数据开发/作业开发>进入页面,新建pipeline流程处理数据

点击<任务配置>配置流程名称、逻辑集群;

拖拽添加组件“数据源”,选择目的流式数据,点击“消费一条样例数据”并保存

添加需要进行数据处理的组件,处理完数据,在最后一个流程节点“一键建表”,实现数据入库入表。