cda吧 关注:3,263贴子:2,051
  • 5回复贴,共1

受邀来cda吧分享数据分析工作经验,原来数据分析吧的连载将转

只看楼主收藏回复

受邀来cda吧分享数据分析工作经验,原来数据分析吧的连载将转移到本吧。

入职第二年,回忆下从小白到数据分析师的体会
工作1年了,虽然疫情影响了很多行业,但幸运的是对我的工作影响不大。我的职业生涯说起来还是从贴吧开始的,就有了回到这里分享下心路历程和体会的想法。今天先写点简单的,看心情再接着往下写。
本人专业是交通规划,专业和数据分析还是有点关系的,目前的工作是交通模型岗。说有关系,其实作为大学生的我是很难理解其中的逻辑关联的,我想这应该不是我自己的问题,而是目前国内大学教育系统存在的普遍问题,幸好遇到了一个不错的老师,也是在他的指导下逐渐在学校的时候开始接触数据分析。从接触到入行,其中经理了非常多的曲折,先不展开了。
工作了一年,我才开始逐渐理解数据分析和交通规划之间的联系。交通规划做的往往是5年,10年甚至30年后的战略性布局。路网怎么布置,规划陪多少,这些重大决策都需要数据分析的支持。
这里的数据分析,其实难度是比较深的,不是作点统计分析,画个散点图就可以了,因为你的决策场景是30年的,所以就需要对未来趋势进行预测,所以建模能力就成了必不可少的技能。
也是因为这个工作的原因,我对数据分析的理解也在逐渐加深,很庆幸比其他人早一步走上了这条路,至少到现在为止,我的身边还没出现一个数据分析能力可以和我较量的。
先写到这里,后面有时间继续分享。


回复
来自Android客户端1楼2020-04-17 23:12
    今天接着写。
    在职期间,我做了很多项目,其中数据分析部分的工作基本是独自完成的。在期间接触了形形色色的人,根据接触频率和重要性排个序的话,大致是直管领导、单位大领导、各个部门的中层决策者以及同事。通过和他们的反复沟通,我发现几个比较重要的客观事实。
    首先,大部分决策者虽然有重视度,但其实是不懂技术的,也不喜欢枯燥的理论,所以我的工作中很重要的一块内容是不断梳理自己的逻辑和表达。
    其次,数据分析在决策中往往是起不到主导作用的,至于为什么,显然和我资历不深,缺乏足够的业务经验有关。虽然手握数据,但是没有足够经验的前提下,我是不可能在自己的专业上照顾到所有决策者所关心的全部问题的。要和他们形成对等,至少需要在业务语言上和他们形成对等
    最后,对自己成长起决定性作用的,不是我掌握了python,不是我会xxx算法,我周围也有不乏喜欢拿技术显摆的人,但事实证明都是作死。引用我师傅的一句话,工具只是工具,工具无法带给数据分析师话语权。事实上,无法取得决策层的信任,就不会有话语权,没有话语权就只是个码农而已。话语权的获取,首先要开口说话,和人站在同一个语境下去沟通。
    就写到这里吧,也算做个小结。我会继续在其他吧更新,不能在本吧更新,也是对各位说声抱歉了。


    回复
    来自Android客户端2楼2020-04-18 18:59
      第三更。
      很多人私信问我,到底数据分析师有没有很多培训机构吹得那么好。我的回答是,因人而异。理由很简单,数据分析延续至今,少说也有几百年的历史,为什么一直没出现数据分析岗位?因为门槛实在太高了。我从几个点来说明下。
      1.数据分析的作用是什么?抛开形形色色的说辞,我自己总结了一个结论,数据分析的最终目的是平衡话语权。可以把平衡和话语权拆开来理解。平衡的意思估计很多人不怎么理解,我也是受到老师启发(其实就是本吧吧主,这里拍个小马屁)在工作中总结出来的,现实中,没有人可以形成绝对的话语权,所以平衡与对峙才是社会运行的主旋律,也是很多聪明人所追寻的。那些妄图追求绝对话语权的人,下场一般都好不到哪里去。话语权和数据分析之间的关系是显而易见的,引用毛主席的一句话,没有调研就没有话语权,实际的权利博弈中,没有数据做支撑的一方,肯定玩不过有数据的一方。所以,数据分析的最高形态,你可以理解为另一种形式的权利斗争。适不适合,我想部分人心里应该已经有答案了。
      2.数据分析的门槛在哪里?近几年数据分析行业的发展确实如火如荼,这主要得益于工具的发展,以及数据获取成本的大幅降低。但是如果冷静下来做个客观分析,就很容易看明白其中的坑深坑浅。数据分析的坑不在工具,不在数据,而在分析,分析这事从古至今做得最好的是什么人?军师,宰相,自己算命先生。所以一心只顾工具学得精不精,是做不好数据分析的。
      3.既然说到分析的门槛了,那么又引出另外一个问题,分析的门槛在哪里?我给的答案是,就目前来看,依然是经验。很多连统计分析的槛,算法的槛都过不了的就不说了。在这两个槛之上就是经验,没有之一。可以这么说,一个理论水平再高的数据分析师,在经验面前都是打酱油的,除非你能创造一个完美的结果,否则是不可能没有破绽的,只要有一丝破绽,想推翻你的人可以毫不留情地把你按在地上摩擦。
      总结一下,我建议的适合从事数据分析行业的人,应当具备以下特质:工具熟练,理论过硬,情商一流,沟通随和,能屈能伸,不是技术控,不是理论控。


      收起回复
      来自Android客户端3楼2020-04-20 22:04
        第四更,什么叫场景分析
        所谓场景分析,可以理解为风险分析,敏感性分析等。为什么会有这玩意,还得从不确定性说起。
        比起确定性,不确定性才是这个世界的主旋律。不确定性是如何产生的?我以为和信息的流通有关,随着我们的步入互联网时代,信息流通越来越便利,个体决策的相互影响被关联和放大,于是社会机器的不确定性越来越明显。举几个例子方便大家理解。我们以前认为的铁饭碗现在还是铁饭碗吗?收费站工作人员的失业是最典型的例子。这个时代的偶像还是8090年代的偶像吗?今天你红极一时,明天就有可能掉入万丈深渊。汽车还是汽油时代的汽车吗?如今电动汽车的更新就像是摩尔时代的电脑。
        不确定性是好是坏呢?这个问题根本没有标准答案,就和风能助长火势,也能吹灭火苗一样,重在权衡,重在借力。扯到这里,我想大家差不多能理解不确定性了。那么就进入正题,谈谈数据分析中的场景分析。
        做算法的都号称上知500年,下测500年。实际上真是这样吗?我谈谈自己的体会。我在工作中往往需要预测一些指标的发展趋势,比如机动车保有量,人口规模等。需要考虑的诸多因素中有一个关键指标,相信大家都耳熟能详,叫做GDP。GDP这个因素的诡异性,诡异在很容易获得,但是又具有很强的政治性。有个段子相信部分人肯定听过。路人甲和路人乙相遇,谁都看不惯谁,正好地上有一坨屎,路人甲随手一张毛主席,指着地上的屎,让乙吃了。乙擦了擦嘴巴,收下了100,但是隐约感觉心里不爽,于是顺手加了一张毛主席,让甲把剩下的干完,甲擦了擦嘴巴,收了200。这样就产生了300元的GDP,对!你没看错,这就是经济学里关于GDP的定义。可见,说这个段子,我想说的是GDP的可操作性很大,于是就引出了一个问题,用GDP做变量来预测其他指标的趋势真的可靠吗?
        我的答案是,可靠!很多同学可能就懵逼了,不是说水分很大吗?这就是实际做预测中很值得玩味的地方。大家不妨考虑两个问题。首先,你能证明它是含水分的吗?如果有,水分是多少?其次,官方发布的数据允许被质疑吗?
        能想明白,就说明你理解了我的答案。在这个基础上,我说说为什么要做场景测试。其实只要回答一个问题就明白了,你能确保你的预测是对的吗?如果你能确保,那么说明你还没理解我对GDP的态度。如果你的回答是否定的,我觉得我们站在了同一立场,因为我不能保证我的预测是觉得可靠的,所以我才需要寻找保护自己的办法,这其实才是场景分析的意义所在。为了避免GDP中天然水分带来的影响,我一般会设置高中低三个方案来预测趋势,这样就可以把责任降到最低了。


        回复
        来自Android客户端4楼2020-04-29 00:08
          在假期的尾巴补个祝福,各位五一快乐!
          第五更
          很多人私信我,问我转行的事,我没回复,说实话这个问题我回答不了,也不敢回答。人生大事,我的经验还不足以指引大家,请谅解。不过我建议可以咨询下吧主大人。

          今天和大家谈谈模型的事吧。我对数据分析师的理解有过很多次改变。第一次是在大学的时候,觉得数据分析就是能用代码写出大部分人都看不懂的模拟退火算法,很酷,很自我。第二次是接触了一位牛人之后,在他的影响下对数据分析有了新的认识,明白了数据分析原来也有内外功之分。第三次是工作之后,理解了数据分析和话语权之间的关系。这和模型有什么关系呢?
          无论数据分析师是个杀马特也好,是个军事也罢,模型的作用其实是贯穿始终的。你可以拿模型**,你可以拿模型树威,当然你也可以拿模型作为谈判加薪的筹码。模型是实实在在的外功!可以让人看得见的外功,可以迅速拔高身姿的外功!我说模型是外功,好多人可能就不理解,模型不是数学吗,不是理论吗,不应该是内功吗?这就是角度的问题了,纯技术的会把模型算法当内功练,我是把经验和思维当内功练。在我看来,模型的大部分招数都是有定式可寻的,而经验和思维往往又决定了模型的取舍优劣。这是我的看法。
          下面来探讨一个问题,模型为什么这么重要,甚至可以重要到成为你的核心竞争力?这里首先需要说一说模型的本质,就目前的技术看,其本质是对经验规律的抽象和总结,并且往往是建立在一定假设基础上的,假设的作用是什么?假设规定了模型的适用场景。基于这个认知,产生了两派意见,一派认为经验高于模型,一派认为模型青出于蓝而胜于蓝。其实在大数据时代之前,两派观点很难说孰优孰劣,小样本总会带来这样那样的问题,以至于经验往往占了上风。即便是在大数据时代,由于数据孤岛的存在,数据结构的偏斜,数据说服力不强的情况依然时有发生。于是,我们会发现一个神奇的现象,国内绝大部分企业决策层对模型而言,是纯小白,他们所依仗的便是经验。所以有趣的现象就来了,大数据来了,人工智能来了,他们看不明白,但又不想被淘汰,于是凭借多年经验积累下来的危机感,开始重视模型,开始招揽人才!即便模型和大数据的结果依然不被允许颠覆他们已有的经验认知,但是这种变革就在这种滑稽的背景下开始了。模型也被提上了核心竞争力的地位,成为企业面子的一部分。
          说到这里,其实还没有回答数据分析师是如何凭借模型巩固地位的。其实也非常容易理解,每个数据分析师整出来的模型参数大概率是不同的,越是复杂的项目,比如动力学模型,越是如此。一般一个建模项目少则数月,多则几年,因此需要经验丰富,对模型参数了如指掌的模型师。所以,一旦企业模型建成,想换数据分析师,比换个模型还要难。


          回复
          来自Android客户端5楼2020-05-06 00:12