Agent日志源连接及日志采集操作指南

Agent日志源连接

日志采集的代理端（Agent）是一个将数据从源端投递到目的端的程序。本系统提供的Agent（日志采集程序）可以对任何x86的Linux机器生效，当前版本推荐CentOS类型。

1.本系统提供的Agent日志源连接，即通过本系统，自动生成Agent日志采集程序包。

2.用户每创建一次连接，会自动生成带用户鉴权credential的Agent日志采集程序包，用户可参考操作指南，进行指定机器的日志采集。

3.日志采集程序已为用户定制好，用户无需修改程序内容，按照操作手册执行即可。

4.在指定机器完成Agent的安装后，Agent会进行客户端日志的主动推送，并自动同步至本系统，以供系统内 JupyterNotebook 的 Spark 程序消费。

5.所采集日志数据的API接口服务，即将推出。

Agent日志采集操作指南

前置条件

1.用户需熟悉linux操作命令

2.用户需清楚需要采集的日志所存放的机器地址及访问方式

3.用户需完成Agent日志源连接并下载系统自动生成的Agent日志采集程序包（即操作步骤一和操作步骤二）

操作步骤

---

连接操作，从这里开始

步骤一：登陆并注册Agent数据源

登录系统BDOS Online：https://bo.linktimecloud.com，通过菜单栏【管理/机构/日志源管理】（切换至机构admin（管理员）角色），或【管理/个人/日志源管理】（切换至个人登陆账号角色）界面，选择日志源Agent，点击按钮【新增连接】并自定义填写日志源名称后，点击【确认】。

或者【管理/个人/日志源管理】（切换至个人登陆账号角色）界面，选择日志源Agent，点击按钮【新增连接】并自定义填写日志源名称后，点击【确认】。

步骤二：下载Agent日志采集程序包

下载文件Agent日志采集程序包：bdos_log_install.zip至本地（本日志采集程序是系统为用户提供，无需修改，按照指南操作即可）

程序包包括文件：

文件	功能	备注
agent.zip	日志采集的主程序包
bdos_log	日志采集程序cli命令脚本	安装完成后，该文件会被删除
install.sh	日志采集程序安装脚本
stand.yaml	日志采集基础配置文件，自动生成credential进行Loki日志推送	配置文件，安装完成后，该文件会被删除

---

本地执行操作，从这里开始

步骤三：登陆本地机器，上传到Linux机器（此处以放到logtest文件夹为例）

备注：本操作指南以测试用日志所在机器：xxxx@192.168.10x.xx为例

Windows机器：

scp D:\bdos_log_install.zip xxxx@192.168.10x.xx:/home/dcos/logtest

Mac机器：

scp /Users/huangyan/Downloads/bdos_log_install.zip xxxx@192.168.10x.xx:/home/dcos/logtest

步骤四：登陆日志所在的Linux机器

ssh -i ~/.ssh/id_rsa xxxx@192.168.10x.xx

步骤五：查询历史文件

 ls /home/dcos/logtest |grep bdos_log

如存在bdos_log文件，需要执行命令进行删除

sudo rm -rf /home/dcos/logtest/bdos_log

步骤六：在机器上解压文件

sudo unzip /home/dcos/logtest/bdos_log_install.zip

步骤七：进入解压后的文件目录

cd /logtest/bdos_log

步骤八：给安装文件授权

sudo chmod +x install.sh

步骤九：执行安装日志收集脚本文件并采集日志

sudo sh install.sh

补充步骤

停止日志采集

sudo /usr/bin/bdos-log stop

启动日志采集

sudo /usr/bin/bdos-log start

重启日志采集

sudo /usr/bin/bdos-log restart

---

查看日志，从这里开始

查看采集日志

完成采集后，进入日志源查看日志列表

点击查看日志详情

点击获取代码，并复制代码至机构/个人 JupyterNotebook 工具，可通过Spark进行日志消费

复制代码，进入Spark kernel进行执行，即可对采集的日志进行消费。