CN110362548B - 日志提取方法及相关设备 - Google Patents

Abstract

本发明公开了一种日志提取方法及相关设备，该日志提取方法包括：将终端日志进行切片存储，其中，每个切片文件的属性包括：文件生成时间；在接收到服务器发送的提取某个时间段的日志请求之后，提取与该时间段对应的至少一个切片文件；基于该至少一个切片文件生成日志文件；将该日志文件上传给该服务器。该日志提取方法自动化操作，无须手动抓取；并且，由于终端的日志数据以多个切片文件形式保存，减少筛选范围，有利于缩减筛选日志时间，本发明有利于提高日志抓取效率，缩短排查终端问题的时间。本发明广泛应用于终端日志的远程提取。

Description

日志提取方法及相关设备

技术领域

本发明涉及计算机技术领域，尤其是涉及一种日志提取方法及相关设备。

背景技术

在终端发生故障时，通常通过抓取终端的日志记录，来定位终端发生故障的原因。传统的做法是：获取终端的全部日志文件后，再找专业人员进行日志的抓取与筛选。

传统方法的缺点是：由于日志的抓取与筛选需要与对应的开发人员进行沟通，导致增加沟通成本，从而影响排查问题的速度。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种日志提取方法及相关设备，能够方便抓取与筛选日志，有利于提高排查问题的效率。

本发明所采用的技术方案是：

第一方面，本发明提供一种日志提取方法，该日志提取方法包括：将终端日志进行切片存储，其中，每个切片文件的属性包括：文件生成时间；在接收到服务器发送的提取某个时间段的日志请求之后，提取与该时间段对应的至少一个切片文件；基于该至少一个切片文件生成日志文件；将该日志文件上传给该服务器。

其中，每个该切片文件包括文件建立时间和文件最终修订时间；提取与该时间段对应的至少一个切片文件，包括：基于该文件建立时间和该文件最终修订时间，获取与该时间段对应的至少一个切片文件。

其中，基于该至少一个切片文件生成日志文件，包括：将该至少一个切片文件进行打包压缩，生成该日志文件。

其中，该切片文件进一步包括多条记录生成时间；基于该至少一个切片文件生成日志文件，包括：根据该记录生成时间，从该至少一个切片文件的每个文件中分别截取符合该时间段的日志数据，并将该每个文件中截取的日志数据均单独保存为一个文件；将截取到的所有文件集中压缩，生成该日志文件。

其中，每个该切片文件的大小相同；将终端日志进行切片存储之前，包括通过该服务器向该终端设置该切片文件的文件大小。

第二方面，本发明提供一种日志提取装置，该日志提取装置包括：日志存储模块，用于将终端日志进行切片存储，其中，每个切片文件的属性包括：文件生成时间；切片抓取模块，用于在接收到服务器发送的提取某个时间段的日志请求之后，提取与该时间段对应的至少一个切片文件；日志生成模块，用于基于该至少一个切片文件生成日志文件；以及日志发送模块，用于将该日志文件上传给该服务器。

第三方面，本发明提供一种终端，该终端包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令能够执行如上述的方法。

第四方面，本发明提供一种服务器，其中，该服务器用于从如上述的终端进行日志提取。

其中，该服务器还用于获取该日志文件后，将该日志文件保存在该服务器对应的存储位置，如果该存储位置保存的日志文件个数超出预定的数量，将该日志文件替换最先保存的文件。

第五方面，本发明提供一种日志提取系统，该日志提取系统包括如上述的终端和上述的服务器。

本发明的有益效果是：

本发明通过采用将日志数据进行切片存储，然后根据服务器下发的时间段，筛选出与所述时间段对应的至少一个切片文件，并基于该至少一个切片文件生成日志文件，最后将该日志文件上传至服务器。该日志提取方法自动化操作，无须手动抓取；并且，由于终端的日志数据以多个切片文件形式保存，减少筛选范围，有利于缩减筛选日志时间；因此，本发明实施例的日期提取方法有利于提高日志抓取效率，缩短排查终端问题的时间。

进一步地，本发明终端的每个切片文件包括文件建立时间和文件最终修订时间，相当于每个切片文件具有一个时间区间，这样方便确定与查询时间段对应的切片文件。

进一步地，本发明终端的每个切片文件具有多条记录生成时间，这样可剔除切片文件中不必要的日志数据，减小日志文件的体量。

此外，还可以在服务器端远程调节终端切片文件的大小。

本发明广泛应用于终端日志的远程自动化提取。

附图说明

图1是本发明日志提取方法的一实施例的流程示意图；

图2是图1的步骤S13的一实施例的流程示意图；

图3是本发明日志提取装置的一实施例的结构示意图；

图4是本发明日志提取系统的一实施例的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一：

请参阅图1，图1是本发明日志提取方法的一实施例的流程示意图。如图1所示，该方法包括如下步骤：

S11：将终端日志按照切片文件方式进行存储，其中，每个切片文件的属性包括：文件生成时间；

在步骤S11中，在终端或与终端通信的云卡服务器进行启动之后，生成终端日志。该终端日志的数据包括：终端WIFI信息、终端SIM卡信息、终端网络连接信息、终端电池信息以及云卡运行状态信息。

优选地，每个切片文件的大小相同。例如，每个切片文件的大小为20M，当一个切片文件保存的日志记录大小超过20M之后，重新生成一个新的切片文件。当然，也可以按照预定的时间单位进行保存切片文件，即设定每5分钟或10分钟生成一个切片文件。在步骤S11之前，通过该服务器向该终端设置该切片文件的文件大小。

优选地，每个切片文件包括文件建立时间和最终修订时间，例如，每个切片文件按照文件的初始创建时间进行命名，在每个切片文件的文件结束位置保存其最终修订时间。

其中，每个切片文件包括多条记录生成时间。可选地，每个切片文件包括多条日志记录，每条日志记录均包括一个记录生成时间。也可以设置一段日志记录(包括若干条日志记录)包括：起始记录时间和终止记录时间。

S12：在接收到服务器发送的提取某个时间段的日志请求之后，提取与该时间段对应的至少一个切片文件；

在步骤S12中，包括如下步骤：

(1)获取该时间段字段。终端接收到服务器发送的获取日志请求之后，从请求信息中获取查询时间段，该查询时间段包括起始时间和终止时间。如果该查询时间段的起始时间大于终端的当前时间，则退出执行本步骤S12。

(2)定位切片文件。由于每个切片文件包括文件初始建立时间和文件最终修订时间，即每个切片文件对应一个时间区间。查找该查询时间段的起始时间和终止时间分别对应哪个或哪两个切片文件的时间区间，则提取的切片文件为该对应的切片文件或该对应的两个切片文件之间的所有文件。比如，终端当前保存100个切片文件，这100个切片文件的名称按照文件建立时间顺序排列，分别为“时间1”、“时间2”、“时间3”……“时间100”。经查找，如果该查询时间段的起始时间和终止时间均位于切片文件“时间3”的时间区间中，则提取切片文件“时间3”；如果该查询时间段的起始时间位于切片文件“时间3”的时间区间中，该查询时间段的终止时间位于切片文件“时间7”的时间区间中，则提取5个切片文件“时间3”、“时间4”、“时间5”、“时间6”及“时间7”。

S13：基于该至少一个切片文件生成日志文件；

在步骤S13中，为提高日志文件的传输速率，将该至少一个切片文件进行打包压缩，生成该日志文件。

优选地，由于步骤S12抓取的至少一个切片文件中仍然存在可能保存有不必要的日志记录，可进一步将非查询时间段的日志记录剔除。

具体地，如图2所示，步骤S13包括如下子步骤：

S131：根据记录生成时间，从该至少一个切片文件的每个文件中分别截取符合该时间段的日志数据，并将该每个文件中截取的日志数据均单独保存为一个文件。

在步骤S131中，如果该时间段横跨多个切片文件，第一个切片文件和最后一个切片文件可能存在保存有不必要的日志记录，则根据该记录生成时间，从该第一个切片文件和该最后一个切片文件中分别截取符合该时间段的日志数据，并将每个文件中截取的日志数据均单独保存为一个文件。

也就是说，步骤S12抓取的文件数量，在经过步骤S131处理后，仍然保持不变。

S132：将截取到的所有文件集中压缩，生成该日志文件。

在步骤S132中，日志文件为压缩文件包，有利于提高文件的传输效率。

S14：将该日志文件上传给该服务器。

在步骤S14中，通过特定文件传输协议，比如通过FTP文件传输协议将该日志文件上传给该服务器，可进一步提高文件的传输效率。

实施例二：

请参阅图3，图3是本发明日志提取装置的一实施例的结构示意图。如图3所示，该装置包括日志存储模块31、切片抓取模块32、日志生成模块33及日志发送模块34。

日志存储模块31，用于将终端日志进行切片存储，其中，每个切片文件的属性包括：文件生成时间。

切片抓取模块32，用于在接收到服务器发送的提取某个时间段的日志请求之后，提取与该时间段对应的至少一个切片文件。

日志生成模块33，用于基于该至少一个切片文件生成日志文件。

日志发送模块34，用于将该日志文件上传给该服务器。具体地，该装置各模块的工作方法与实施例一所述的方法相同，在此不再赘述。

实施例三：

请参阅图4，图4是本发明日志提取系统的一实施例的结构示意图。如图4所示，该日志提取系统包括多个终端41和服务器42。

终端41包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令能够执行如实施例一所述的方法。

服务器42用于与终端41进行通信。服务器42与终端41通信方式为有线通信或无线通信。其中，该服务器在获取该日志文件之后，将该日志文件保存在该服务器对应的存储位置，如果该存储位置保存的日志文件个数超出预定的数量，将该日志文件替换最先保存的文件。例如，设定该存储位置保存的日志文件数量最大为50个，如果该存储位置保存的日志文件数量<50，则将该日志文件存入到该存储位置中；反之，将该存储位置最先保存的文件进行删除，然后再存入该日志文件到该存储位置中。这样，有利于防止服务器42存储的日志文件数量过多，精简服务器空间。

其中，服务器42可以为远程服务器。该日志提取系统的一应用场景可以为：多个终端41分布在用户位置，服务器42设置在集控中心，工作人员在服务器42端排除任一终端41的技术故障问题。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种日志提取方法，其特征在于，包括：

将终端日志进行切片存储，其中，每个切片文件的属性包括：文件生成时间；每个所述切片文件的所述文件生成时间包括：文件建立时间和文件最终修订时间；

在接收到服务器发送的提取某个时间段的日志请求之后，基于所述文件生成时间，提取与所述时间段对应的至少一个切片文件；包括：基于所述文件建立时间和所述文件最终修订时间，获取与所述时间段对应的至少一个切片文件；

基于所述至少一个切片文件生成日志文件；包括：将所述至少一个切片文件进行打包压缩，生成所述日志文件；

或，所述切片文件进一步包括多条记录生成时间，根据所述记录生成时间，从所述至少一个切片文件的每个文件中分别截取符合所述时间段的日志数据，并将所述每个文件中截取的日志数据均单独保存为一个文件；将截取到的所有文件集中压缩，生成所述日志文件；

将所述日志文件上传给所述服务器。

2.根据权利要求1所述的日志提取方法，其特征在于，每个所述切片文件的大小相同；

将终端日志进行切片存储之前，包括：

通过所述服务器向所述终端设置所述切片文件的文件大小。

3.一种日志提取装置，其特征在于，包括：

日志存储模块，用于将终端日志进行切片存储，其中，每个切片文件的属性包括：文件生成时间；每个所述切片文件的所述文件生成时间包括：文件建立时间和文件最终修订时间；

切片抓取模块，用于在接收到服务器发送的提取某个时间段的日志请求之后，基于所述文件生成时间，提取与所述时间段对应的至少一个切片文件；包括：基于所述文件建立时间和所述文件最终修订时间，获取与所述时间段对应的至少一个切片文件；

日志生成模块，用于基于所述至少一个切片文件生成日志文件；包括：将所述至少一个切片文件进行打包压缩，生成所述日志文件；

或，所述切片文件进一步包括多条记录生成时间，根据所述记录生成时间，从所述至少一个切片文件的每个文件中分别截取符合所述时间段的日志数据，并将所述每个文件中截取的日志数据均单独保存为一个文件；将截取到的所有文件集中压缩，生成所述日志文件；

日志发送模块，用于将所述日志文件上传给所述服务器。

4.一种终端，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令能够执行如权利要求1或2所述的方法。

5.一种服务器，其特征在于，用于从如权利要求4所述的终端提取日志。

6.根据权利要求5所述的服务器，其特征在于，所述服务器用于获取所述日志文件后，将所述日志文件保存在所述服务器对应的存储位置，如果所述存储位置保存的日志文件个数超出预定的数量，将所述日志文件替换最先保存的文件。

7.一种日志提取系统，其特征在于，包括：

如权利要求4所述的终端；和

如权利要求5或6所述的服务器。