大数据扫盲 _____更新在81#__书单更新在122#__更新一些感受#

  • d
    dingsipo
    mark!这才是技术贴。
  • h
    hitlerzhao
    回复208#lishuanzhu


    给楼主讲个例子来探讨下在实体制造业的数据运用:
    装备制造业有一个长期的设备可靠性问题 这个东西的解决基本还是依赖状态控制或者叫做基于对状态的关注和参数的控制--也就是在过程当中产生巨量的数据
    再有一个就是备件备品的消耗--基本上工业领域也就是用统计工具算一算,什么泊松啊,灰度啊,时间序列啊什么的。

    但是这是一个点--因为设备越来越复杂,越来越系统化。

    想问问您,工业领域的大数据能否从哪些角度入手分析得出结论呢? 目前比较关心的无非是:需求分析--通过以往的需求数据获取进一步的预测数据
    再有就是敏感性分析--分析那些参数或者哪些问题是对过程的致命性问题

    这些都是数据的角度分析的,结果也算是数理结果吧-其结果最终也应该指向设备的实际物理分析结果--那个结论是来自仿真或者是案例

    例如--某个设备以前坏了,我通过分析产品设计和制造知道可靠性不高将来会坏-我通过分析用户的采购频率和报修频率也知道会坏--我甚至通过分析用户的停机/检修数据也知道这家伙会坏

    但是难度就是如何从海量的数据中找出这种数据,这种说明情况蕴含特点的数据

    工业界做这个的不多--波音据说至今还在让航空公司按照泊松来计算备件消耗量
  • 屋大维
    老司机带带我,等我回国求refer啊
  • 看看天气
    虚无缥缈 靠谱瞎吹 各领悟都套上大数据名词了HiPDA·NG
  • l
    lkjxing
    先mark iOS fly ~
  • s
    shsolaris
    马克 iOS fly ~
  • l
    lishuanzhu
    回复254#hitlerzhao


    最近正在看deep learning。 先说下其边界范围吧,representation learning 是 machine learning的子集,deep learning是representation learning的子集。 大体上representation learning 是为了解决unformal knowledge的。或者这么说吧,原则上现在的主流算法都是统计学派的算法,那么在界定输入的时候,要首先有数据,其次要人工的方式去建模,界定这些输入(人工表征知识集),也就是为什么现在做这样,要先做数仓,然后做画像,然后建模的原因。representation learning是为了解决这个问题的,就是不知道也不需要之后这些原始输入之间的关系以及对结果的影响,其会去用算法的方式去发现这些formal knowledge包括unformal knoeledge对结果的影响,自适应构建模型,输出结果。 对工业大数据没有接触过,在不了解输入源,有什么传感器能收集什么样的数据,并且对结果有什么影响的情况下,无法用人工的方式去界定输入集的情况下,不如试试reprenentation learning, deep learning的东西,也许有意想不到的效果。
  • h
    hitlerzhao
    回复259#lishuanzhu


    您的回复受益匪浅
    想再问问有没有界面友好一点的相关软件推荐?付费免费都可以
  • l
    lishuanzhu
    回复260#hitlerzhao


    deep learning和representation learning的东西太超前了。。。就是开源的包都很少,经常都是对着论文自己实现的。。。
  • x
    xiaogao1
    MARKKKK
  • T
    T22-T22
    技术贴 iOS fly ~
  • 8
    820
    这个帖子吗?
  • l
    lokta
    回复31#voodoogo
    跑得起来 iOS fly ~
  • o
    ovisland
    mark大数据扫盲HiPDA怪兽版
  • 大部头书
    啊?好东西