日志和文件访问规范

数据访问规范-日志和文件修订历史日期修改说明部门修改者数据访问需求根据数据采集需求，初步判断数据访问来源是否可以从日志和文件中获取。联系技术研发部门的同事，索取数据源访问的位置参数。通过配置定期读取服务器指定位置的日志和文件。通过程序清理日志，将其拆分为字段并加载到数据仓库的源层。

数据接入流程 1、数据中心分析团队收到TAPD数据接入请求后，分析接入数据属于数据接口列表中的哪个系统，并在对应的系统标题下添加模板，参考APP-应用程序登录日志。

与需求发起者沟通确定提供数据的方式（数据库、文件、接口等），让需求发起者补充详细的数据口径，添加到需求需求中，并在数据中指定一个人仓库群或平台群转发。

2。根据需求描述数据仓库组或平台组。与数据源提供方（可以是需求发起方或技术研发部门）沟通，要求其补充模板中的位置参数。

3。数据源提供者根据模板要求提供位置配置参数。

4。数据仓库组或平台组在访问数据后，整理数据格式，编写日志清理和转换脚本，补充加载目标表信息。

5。数据中心分析团队将接受最终的访问数据，并通知请求发起者如何获取访问数据。

数据源接入模板需求需求（分析团队补充）tapd需求单号：1002513 Filer：xxx（Richard.chen）需求单号内容：
？？？数据提供方式：
数据库、文件、接口详细数据口径：？？？位置配置参数（技术研发部补充）配置参数参数值服务器地址 192.168.1.1 端口类型 ftp 端口号 22 系统用户名 user 密码 pwd 日志路径日志文件通配符 xxx/yyyymmdd/AppLog app_login_log_[yyyymmdd].json 日志内容分段规则文字说明访问模型字段（仓库组补充）字段名称注释字段类型必填必填必填必填提取参数（仓库组补充）配置参数参数值提取周期每天提取时间 7:00 文件名匹配条件1：全匹配提取（匹配通配符表示提取） 2：日期匹配提取（仅提取通配符日期字段与数据日期条件匹配的文件）数据日期格式 Yyyymmdd Yyyy-mm-dd 数据日期条件 1：前一天日期 2：当前时间日期 3：当前时间属于星期和星期日 4：当前时间属于月初日志清理转换脚本（仓库组填充）只需添加脚本位置即可，如 t8t-bi-dsc＼log- app＼log -www.transformativeconsumerresearch.com 加载目标表（仓库组填充）配置参数参数值 stg层表名必填 stg层表描述必填 ods层表名必填 ods层表描述必填数据接口列表 PC H5 APP app_login_log l 需求订单号（分析组补充） tapd 需求订单号：xxxxxxx 提交人：xxx（Richard.chen） l 位置配置参数（技术研发部补充）配置参数参数值服务器地址 192.168.1.1 端口类型 ftp 端口号 22 系统用户名 user 密码 pwd 日志路径日志文件通配符 xxx/yyyymmdd/AppLog app_login_log_[yyyymmdd].json 日志内容切分规则文本描述 l 访问模型字段（仓库组补充）字段名称注释字段类型必填必填必填必填必填 l 提取参数（仓库群补充）配置参数参数值提取周期每日提取时间 7:00 文件名匹配条件1：全数量匹配提取提取（匹配通配符提取） 2：日期匹配提取（仅提取通配符日期字段与数据日期条件匹配的文件）数据日期格式 Yyyymmdd Yyyy-mm-dd 数据日期条件 1：前一天日期 2：当前时间日期 3：当前时间属于周周日 4：当前时间属于月份的第一天 l 日志清理转换脚本（仓库组填充）只需添加脚本位置，如t8t-bi-dsc＼log-app＼log-app。 py l 加载目标表（仓库组填充）配置参数参数值 stg层表名称必填 stg层表描述必填 ods层表名称必填 ods层表描述必填 app_diary_log 小程序