egojin_各种IT工程师的区别

作者: seo 分类: seo基础 发布时间: 2019-06-30 02:08

  BI,商务智能。BI工程师即为从事商务智能行业的工程师。从需求分析师到数据仓库架构师、到etl工程师、数据分析,报表开发工程师、数据挖掘工程师、etc.,都可以称之为BI工程师。

  etl工程师:是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。

  老板 :我是一家手机公司的老板,今天要向去董事局汇报,我要准备一份介绍过去三年的用户增长、用户留存、用户活跃度、手机里面每个APP使用率等情况的报表,假如下面没我下面没有BI,那我肯定就蒙逼了。。

  BI : 我是一名非技术BI,我天天看竞品的分析报告,看双十一销量,看各种评论,知道自己的产品有哪些短板有哪些长处,我分析南北地域差异,国内外客户喜好,总之我在手机领域有着很强的行业解读能力和数据解读能力,我可以画出非常漂亮的图表和PPT。今天老板让我出一份报表,我还要去刷脸找ETL工程师帮我跑出这次报告的数据,基于这份数据我要给出一定的解读,为啥这个月手机卖得不如上个月,为啥用户流失越来越严重等等都是我要去做的。

  ETL工程师 : 我是食物链最底层的苦逼ETL工程师,我会写shell、我会搭hadoop/hive/hbase、会写超复杂逻辑的sql,今天那个不会自己计算数据的BI又让我跑几个数据,我本想让她提需求流程的,但她说这是老板要的(运营惯用的杀手锏!!!),要加急处理,我只能放下手头的活儿给她跑数据了,花了半个小时把数据跑好给她,希望能就这么交差吧。

  大数据工程师,就是我们所知的大数据开发工程师,主要从事大数据平台的搭建,对个人技术要求偏高,需要从业者具备java基础,还得具备以下技术能力,hadoop、hive、hase、flume、storm、kafka、spark等,是一个非常庞大的技术集群。

  如果你以为我每天就做这点事那你就错了,我平时的工作可不仅仅就是完成上面交给我的任务哦,我还负责数据ETL过程、数据建模、定时任务的分配、甚至有时Hadoop集群的维护等等都得我去做,每件事单独拿出来都可以拿出来写本书。

  就拿ETL过程来说吧,你要把原始数据从各种数据库、各种服务器的不同业务日志归一化到同一类格式,要约定好分隔符,然后导入到分布式文件系统HDFS,甚至你还要和业务系统定义数据格式出规范,数据收集完,你还得出中间表,数据过滤,格式统一,ID统一,维度统一,通过不同的数据现象进行数据,完了,你就得出一些日报周报之类的数据了,这时候你要按照需求把数据组织成一定的格式然后导Mysql、或者HBASE等等。

  总之你就是需要把数据各种收集、各种处理、然后各种导入导出,是不是很有意思?

  1、正常情况下,老板 —》 BI —》 ETL 出一份报告,这中间能否BI直接去计算数据?sql太复杂,那么可不可以一切数据标签化,BI甚至老板要什么就选什么?

  2、ETL工程师可以把数据收集自动化、可以规范业务日志格式、可以将一切都配置化,但是这些都是基于N+1的,也就是说今天的发生了什么一定要到明天才能看到,那么有没有一个系统能把数据分析做到实时或者准实时?参考双十一大屏,马总要是到12号才能知道成交了多少笔不劈了那帮做数据的才怪。

  3、目前绝大部分分析系统都基于离线计算(HADOOP/ODPS),那这里有个问题了,运营或BI想看个数据还得你离线慢腾腾跑完才能看到,那么有没有一个系统可以支持你再大的数据量,再复杂的逻辑,毫秒出数据?

  第三层: 为产品提供支持,例如有产品经理们会拿着报表天天看研究自己的某一个按钮摆放位置对不对

  第四层:数据用于生产,比如直接对接广告系统产生收益,比如直接对接推荐系统为用户推荐商品,实现千人千面,再比如利用手机APP直接为不同用户push消息

  大部分公司能做到前两个层次就已经很不错了,如果能做到第三层,就已经很牛逼,做到第四第五层次,国内互联网公司不超过2家,大数据应用太大了,不知从何说起,以后聊吧。

  有人提到数据交换,数据交换不是简单的我给你一点,你给我一点;也不是我给你钱,你给我点数据。

  1、数据很难定价,无法简单的将数据定义为商品,数据供给方也无法去衡量一份数据能产生多大的价值,只有在具体的应用场景中才能大概估计它的价值,因此几乎没有一种简单公平的机制去为交易双反指定交易规则。

  如果是一部iPhone,如果想要造出一模一样的一部iPhone成本奇高,所以苹果公司可以放心大胆的把手机卖给你而不怕你仿制,但是数据不行,因为数据几乎没有拷贝成本。

  那么带来一个问题,如果我把这份数据一百万卖给你,我几乎除了『你的诚信』之外没有任何方法去限制你不把数据折价买个其它更多第三方,那这份数据的市场价值很快荡然无存。

  商业有很多隐私规则,用户也有很多隐私,这些都是不能简单的通过拷贝的去交换的,如果给对方一份数据,例如:用户的在某APP的浏览行为,那么如果被第三方运用在电话骚扰,广告弹窗之类的场景中,肯定是不行的。

  数据交换 最理想的方式应该是,双方共同拿出一些东西,然后服务于某个场景,而数据导出等行为都是被禁止的,双方不能看到对方的数据也不能导出对方的数据,可被导出的结果一定是无害、不侵犯隐私的、不对原数据价值产生影响的东西。

  继由硬件十万个为什么组织的2017电子工程师技术交流大会(EETC)·杭州站的召开,受到广大工程师的热烈欢迎和积极反响。

  在IT界,成功的完成一个项目的需要销售人员、售前人员、项目实施人员(开发人员)、售后服务人员等密切协....

  对于我们这些刚入门的运维小白来说,极强的好奇心总会驱使我们去涉猎各种技术,弄到最后很可能该学的知识半....

  经过半年的沉淀,加上对MySQL,redis和分布式这块的补齐,终于开始重拾面试信心,再次出征。

  一个好的硬件工程师实际上就是一个项目经理,他/她需要从外界交流获取对自己设计的需求,然后汇总,分析成具体的硬...

  重要的事情所以说三遍。如今前端圈大热,除了前端项目天生开源的优势之外,Github这个网站功不可没。....

  16年毕业到现在也近两年了,最近面试了阿里集团(菜鸟网络,蚂蚁金服),网易,滴滴,点我达,最终收到点....

  领导把公司的一个重要研究项目(命名为顺耳风)交到了我手上--关键词唤醒系统,也就是当下最热门的热词唤....

  作为一名从传统行业成功转行算法工程师的老人,经常会有想转行互联网,或者是算法工程师的朋友询问我转行的....

  集成稳压器按出线端子多少和使用情况大致可分为多端可调式、三端固定式、三端可调式及单片机开关式等几种。

  计算机、统计学等相关专业,具有深厚的统计学、数学、数据挖掘知识,熟悉数据仓库和数据挖掘的相关技术;

  马上就到端午节啦,电子发烧友祝各位端午节快乐! 想必大家都被各种各样的花样粽子刷屏了吧,但是万变不离其宗,粽子还是有个...

  作为一名最基础的前端工程师你必须掌握HTML、CSS和JavaScript。三者必须同时精通,类似我....

  在下本是跨专业渣考研的985渣硕一枚,经历研究生两年的学习积累,有幸于2019秋季招聘中拿到几个公司....

  推荐采用“先精后广,一专多长”的流程来学习:先在一个特定的方向上有比较深入的钻研,然后再将学习目标渐....

  前端工程师要有一个基本常识,那就是结构、表现和行为要分离。具体解释如下:

  全栈工程师(Full-Stack Engineer):一个能处理数据库、服务器、系统工程和客户端的所....

  第一次写非技术分享的话题,而促使我提笔的动力源自去巴黎参加Openstack Kilo Design....

  在工作岗位上,大数据工程师需要基于Hadoop,Spark等构建数据分析平台,进行设计、开发分布式计....

  BI工程师:主要是报表开发,需要有一定的数据库经验,掌握SQL查询优化方法,精通Oracle、SQL....

  一个程序员的成长之路,会经历多个阶段,从初级工程师、中级工程师到高级工程师再到这个领域的专家,但是能....

  我相信每个工程师都曾怀揣一个成为技术大牛的梦想,可是真正走向技术大牛这条路的少之又少。工作中我们常常....

  在开始任何其他文字之前,首先有必要正视一个根本现实:国内外软件开发的水平是有差距的。

  来了一个英国工程师(剑桥毕业,可能是78年生的),在我们公司工作1个月。我看到了不少差距。就一个词:

  毕业已经一年有余,这一年里特别感谢技术管理人员的器重,以及同事的帮忙,学到了不少东西。这一年里走过一....

  本人,从10岁开始玩游戏 ,玩到28岁,虽然大学的时候也接触过C,但是觉得学起来太费劲,还是玩游戏好....

  方向永远比努力更重要,找准了方向,比努力更重要。比如说你去超市当个收银员,第一年老板给了2800,第....

  掌握了以下的硬件和软件知识,基本上就可以成为一个合格的电子工程师:...

  在过去的互联网时代,我们看到太多这样的例子了,举一个简单的说明:就如10多年前选择Java人和201....

  AI领域人才抢夺大战愈演愈烈,有的公司去年给应届生的年薪就达到了50万元。今年,待遇继续水涨船高,“....

  本人是LINUX运维工程师,对这方面有点心得,现在我说说要掌握哪方面的工具吧 说到工具,在行外可以说是技能,在行内我们一...

  十年来,我们一直在谈论数据科学和数据科学家。虽然在怎么才叫“数据科学家”的问题上始终存在着争议,但如....

  PCB布线,即铺设通电信号的道路以连接各个器件,这就好比通过修路来连接各个城市通车。在PCB设计中,....

  硬件工程师经典笔试题集锦!下面是一些基本的数字电路知识问题,请简要回答之。

  艾迈斯半导体认为“Sensing is life”传感技术正在重新定义未来生活,为了兑现对中国市场的....

  这是一篇来自一位程序媛的投稿,记录了她从化学系转行进入IT业,制定计划学习,扎实执行,面试腾讯实习的....

  最近沉浸在代码的世界里,没什么输入,也没什么输出,今天说说码农之间对接代码的一些事吧。

  今天是 22 岁的最后一天。几个月前,我从沃顿商学院毕业,用文凭上“最高荣誉毕业”的标签安抚了已经年....

  1.前言 — 程序员是一个知识更新较为迅速的一个职业,这个行业的知识的更新速度,有的时候会超过你的学....

  本报告从“测距原理、光源、光束操纵、探测器”四个维度对激光雷达核心技术及分类进行了分析,力求让读者对....

  滤波电容器、共模电感、磁珠在EMC设计电路中是常见的身影,也是消灭电磁干扰的三大利器。

  区块链发展的强劲势头,吸引了众多机构和个人纷纷发力或准备发力进入这一领域,各种区块链公司、区块链媒体....

  随着单片机的频率和集成度、单位面积的功率及数字信号速度的不断提高,而信号的幅度却不断降低,原先设计好....

  多学习,售后工程师比起售前工程师更辛苦的地方是你必须深入地紧跟着 本公司的产品的发展,哪怕是产品中一....

  一定程度上说,神经最近几年深度学习的流行,大家一般认为是从2012年 AlexNet 在图像识别领域....

  要想成为一个程师,其实并不难。只要你能按照步骤一步步的走下来,你就会成功。下面是成为一个网....

  一名一线企业嵌入式软件工程师的笔者,想通过自己的实际经历理性地评论当今嵌入式行业的真实状况。 嵌入式的定义和举例分析 ...

  这是一份攻城狮不能拒绝的福利!30份技术干货, 涉及Iot产业发展、5G、工业物联网、智能可穿戴、智慧城市等领域精细划分 由微...

  作为电子工程师,特别是电路工程师,如Analog IC, Digital IC Engineer,需要了解到电路、集成电路,数字电路、模拟电路、...

  (1)关于「开关电源工程师需要哪些知识」 以一个简单的Buck变换器的设计为例进行说明。 [图片来自:Erickson R W, Mak...

  我现在是自己做,但我此前有多年在从事软件开发工作,当回过头来想一想自己,觉得特别想对那些初学JAVA/DOT。NET技术的...

  以硬件工程师的身份已经工作两年多,回看自己的经历,大学以前,可以用四个字来总结:按部就班。大学以后,也可以用四个字来总结...

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!