DOEM 事件中心 (Digital Operation Event Management) 云智慧数字化运维事件中心基于大数据技术和机器学习算法,对来自于各种监控系统的告警消息与数据指标进行统一的接入与处理,支持告警事件的过滤、通知、响应、处置、定级、跟踪以及多维分析,利用多种算法实现告警事件的收敛、异常检测、根因分析等智能运维场景化应用,实现问题事件全生命周期的全局管控
CDC 云智慧数据采集器 是自主研发的一款针对日志、监控信息等数据的专业采集工具。CDC采集器支持多种数据源的采集和监控,内置数十种解析、转换、计算方式,并支持发送到数字化运维数据库(DODB)和其它自有的服务(Kafka、HTTP服务等)。具备多数据源多终端支持、丰富的数据解析与变换方式、采集性能优异等特点与优势。 CDC Agent 采控中心管控Agent
CIM Agent,是一款用来监控服务器的agent,其安装在被监控服务器上,对被监控机器性能几乎没有任何影响,用户防火墙只需要开通一个专用端口即可监控到服务器性能指标,安装维护简单便捷
mkdir /cloudwise
chmod 755 /cloudwise
cd cloudwise
export ipblacklist=;export isProxy=false;export rpcadressip=;export enable_deep_discover=false;export hostip=x.x.x.x:18084;export token=MTEwQDY0Nw==;export version=djEuNi4w;export agentIds=Y2ltLGNkYyxkb2Nj;export configIds=ZDY3OWQyZDBmYjQ2NTA3MTY5OWMzMjNmMGI4OWQ2YTYsNDBjM2Q0MWE5OWFlYTJlMmQ1ZTk4NGJlNDIyMDcxYzQsODM0OTFhMGIzMjAyOGFkZjEyNWI4NmZkODVlMmJiMjU=;export tagIds=;export customPath=;export isNeedAdministrator=ZmFsc2U=;export isDoccRemote=false;export doccTaskId=;export daemonInstanceId=;([[ 1 != $(command -v curl || echo $?) ]] && (curl http://$hostip/api/ext/gaia/daemon/sh -o doccsh.sh) || ([[ 1 != $(command -v wget || echo $?) ]] && (wget -O doccsh.sh http://$hostip/api/ext/gaia/daemon/sh))) && chmod u+x doccsh.sh && bash doccsh.sh -i
17:18:09 Check if doccAgent is installed
17:18:09 Path: /cloudwise
17:18:09 Detect CPU architecture
17:18:09 CPU architecture detected x86_64
17:18:09 Start download:
17:18:10 Download package completed. Start unzipping
17:18:10 unzip success
17:18:10 Unzipped and start running
17:18:10 Successfully executed filepath.
17:18:11 Successfully started.
17:18:11 Installation success
17:18:11 Symlink /root/cloudwise/agentdaemon -> /cloudwise/agentdaemon created
17:18:11 Removing installation lock file.
安装成功后,选择<节点管理/主机管理>导航栏打开<主机管理>页面,在<主机列表>中可查看到添加的主机以及对应的 Agent 信息。主机列表>主机管理>
登录 DOCC 后,在左侧导航栏中单击<集成服务/任务管理>进入页面。
在<任务管理>页面,单击<新建自定义>打开<自定义采集模板>对话框。自定义采集模板>新建自定义>任务管理>
将鼠标悬停于目标模板图标上,单击<应用>,进入日志监控任务的配置页面。(日志采集通常使用文件读取-tailx模式)应用>
配置数据源信息:配置采集任务名、日志文件路径、日志换行表达式及数据发送方式等
信息配置完成后,单击<下一步>按钮,选择需要执行任务的目的主机,点击完成。下一步>
在提交成功页面单击<查看任务>,在该页面可查看到新建的日志采集任务详情;单击“编辑”可跳对任务进行更改并重新提交。 通过任务“读取成功总数”可判断,是否能获取到日志文件数据查看任务>
登录 DODB 后,在左侧导航栏中单击<数据资产/流式数据>进入页面,点击<新建>。新建>
配置流式数据连接信息:名称、数据连接、选择对应的Kafka的topic
在左侧导航栏中单击<数据开发/作业开发>进入页面,新建pipeline流程处理数据
点击<任务配置>配置流程名称、逻辑集群;任务配置>
拖拽添加组件“数据源”,选择目的流式数据,点击“消费一条样例数据”并保存
添加需要进行数据处理的组件,处理完数据,在最后一个流程节点“一键建表”,实现数据入库入表。