需求及业务调研

余凯

关于数据体系的建设，其核心体现在数仓建设中，而数仓的建设需要有相关的需求作为指引，如此才不至于闭门造车。在收集的过程中，需要明白要提供什么样的数据，怎么展示，数据范围是多少，更新频率是多少，未来会有什么样的扩展业务。
        在数据开发之前，可以在数据使用和数据来源两方面进行调研，同时要求所有的调研结果都要有文档留痕。
需求调研

        在此阶段，需要安排相关人员对数据使用方进行调研，调研人员需要对数据及业务具备较高的敏感度，最好是行业业务人员、数据产品经理和数据仓库架构师。数据使用方可以先根据企业的业务线进行划分，各个业务线确定各类角色人员，如分析人员，运营人员，相关决策层领导等。数据的要求，可以从如下考虑：
       1) 想要完成什么样的业务场景或者商业目标
       2) 未来数据展望
       3) 需要哪些数据
       4) 数据的展现方式
       5) 更新频率
        通过了解对方的业务场景和相关商业目标，可以梳理出大致的数据范围，并对其描述的数据要求进行补充。调研人员也可以在数据使用层面通过自身经验引导使用方，使其描述对未来展望，了解其未来可能需要开展的业务以及可能使用的相关业务数据。该部分需要调研人员做些评估，可行度有多高，避免给使用方过高的期望，而且也不能给数据团队挖一个深坑。
        通过对需求的梳理，可以大致明确一个数据范围。以零售行业为例。分析人员想要知道各类商品的销售情况来找到销售量下滑的商品，运营人员想知道会员的转换率、优惠券的使用情况来制定各类促销活动，领导层想知道各区域的销售额来掌握整个企业的经营情况。从这里我们可以大致推导出所需的数据范围，主要包括日常各类订单的成交额，如零售、餐饮、停车等等主要业务过程，还会涉及活动、会员信息、优惠券领取核销、门店、组织等业务数据。我们需要通过这些信息来反查各个业务系统，发掘更多有用的数据。该部分需要梳理出一些实际中会用到的指标和数据结果集，明确统计的口径，该部分需要做好进行好几轮沟通的准备。
        在数据展现方式上，各个部门的要求并不一致。分析人员想要灵活的分析，可以从各种角度对数据进行查看，使用各类图表对不同的数据进行展示。运营人员则想要一个比较全面的趋势图表来反映近期运营的成效。领导层的需求则大部分是一个较为固定格式的驾驶舱风格。从各类展示风格上我们需要选择各类工具，如报表展示工具，数据探查工具，驾驶舱工具等。
        数据的更新时间即数据的时效性，需要我们保证能在各方要求的时间点完成数据更新。此类沟通可以明确各类数据的更新频率，比如当日运营大屏、月报、年报等。该部分的确认也会影响后期在数据架构上的设计以及技术选型，因为相关指标若是存在实时的场景，那就需要去考虑如何去兼容离线和实时两个数据流向。此部分的需求明确比较重要，最好可以做到兼容和扩展，避免日后整体的调整。
业务调研

        在完成需求调研，梳理出相关需要的数据以后，就需要从业务生产系统中进行调研，明确该部分数据可以从哪些系统中获取，获取的方式支持哪些。另外还需要将所有系统的业务流程进行梳理记录，并形成文档，方便以后在业务建模时使用。
        此部分的调研内容可以从如下方向进行：
            1) 明确可以从哪些系统中获取数据
            2) 各系统中能够提供什么样的数据
            3) 各系统中的业务是怎么开展的，具体的业务过程是什么样的
            4) 各系统中后台表与各业务流程的对应关系，表的更新方式
            5) 各系统的环境、技术、可对接方式
        该部分内容需要与各个业务系统的产品经理、IT人员进行多次的沟通，请他们对数据人员进行介绍培训，相关事宜安排由各领导统筹，防止部门间不和谐协助。
        相关业务流程最好能形成业务文档，记录所有业务过程以及业务过程中所有参与的实体。IT人员最好能提供系统的ER设计图、系统环境、相关技术、参考数据等，并通过ER图与业务流程文档对应，详细得描述出各个业务流程所涉及的表、各个流程产生时数据的变化情况，了解各系统各个表的数据量级、日增情况等。在相关数据明显不满足数据分析时，需生产系统考虑是否可以调整，如关键数据的更新和删除操作无历史记录。
        业务的调研在数仓规划阶段至关重要，在业务建模过程中划分主题域和确认实体、关系的时候需要用到业务过程文档，在后续的DWD层设计中相关表的处理方式也非常依赖于各业务源表的数据存储和更新方式。

茹古涵今

占位编辑