大数据时代下的生活

　最近几年IT都成长在一个大数据的环境下，大家动不动就要分布式，想想就搞大数据。有的网站明明访问量几台普通的服务器就可以搞定，非要弄分布式，挂着云计算的名字，却做着屌丝的事情。

　　虽然，大环境如此，但是为了沾上这种高大上的气息，也着手看一下这方面的书。

　　刚刚看完《大数据时代》这本书，感觉收获也蛮多的。习惯性的整理了一下书籍的思维导图

　　这本书是国外人写的，但是内容上还比较符合国内目前的环境，毕竟国内的大数据发展起步还是要晚一点的。

　　个人吐槽

　　就从法律这方面来说，感觉国内的个人隐私方面法律就不怎么看重，因此即便某些软件或者网站侵犯了用户的个人隐私，用户也极少会采取一定的措施。况且很多网站或者软件在不显眼或者让人不在意的地方使用了声明许可......简直是推卸责任的最佳方案。

　　就这点来说，书中提倡，不应该采用个人许可这种类似的手段来避免大数据的使用责任，而是应该由使用方来承担责任。

　　这样，使用数据的人就会在使用过程中，去了解什么地方可能触犯了用户的隐私，什么地方可能会让用户陷入尴尬的困境，从而使用模糊化或者匿名化的手段来避免。

　　模糊化就是不给出数据的具体内容，只是粗略的描述。

　　而匿名化就好理解了，就是隐藏掉用户的关键信息。

　　就目前的互联网公司，也有很多公司根本不注重这种细节，就我特别反感的一点来说：

京东目前应该说是互联网产业很火的一个产品了...由于它的东西很多都是京东自营的，质量上总是感觉比淘宝要有保障。因此，我买东西能在京东上买，就绝对不会去淘宝。但是京东的购物历史，却很是让人尴尬！

　　比如下面这些标红的地方，是购物的评价区

　　点击上面的用户名，就直接可以看到这个人的消费历史。当然这个历史记录是可以关闭，不显示的。但是默认上来都是开启的，一般用户也不会在意。但是如果查看某XX斯这种尴尬的产品，查看其用户，就可以发现很多有意思的购物历史。

　　这里就当做一个吐槽吧！这虽然不是什么大数据，购物历史应该说是简单的历史数据了。但是这也算是泄露了用户的隐私吧。

　　其次呢，我们目前的这种生活环境，每天会产生大量的数据，这些数据利用好了，可以为我们进行一定的数据可视化，分析或者预测出生活中一些即将发生，我们有意去关注的事情。

　　因此好坏参半，大数据的使用还要看具体来做什么。

　　总的来说，其中的商机以及潜在的机会都是非常大的，如何有效的搜集数据，如何有效的利用分析数据才是目前最应该关注的事情。

大体上无非都是这些步骤：

1 数据一般都是某些应用的记录，或者消息

　　2 有了数据，需要对数据进行有效的采集，存储，查询。

这里就涉及到一定的技术了，采集需要对业务进行分析，在有效的地方进行记录。存储需要考虑数据的增长量，或者安全性，是否会由于庞大的数据而存不存下，是否会因为某些故障而漏掉信息，这个时候就要高一些分布式存储之类的了。最后的查询，可能会设计到一些搜索啊，MapReduce之类的。

　　3 数据已经有了，就要对数据进行分析了。这一块基于某些业务肯定有不同的搜集方法，具体看业务而定吧。

　　4 数据的用途：既可以采取数据的可视化进行数据的直观展现，也可以利用数据进行一些趋势动向的分析预测，还可以进行某些特定预测的预警等等。

　　大数据的时代，重要的是数据的搜集，相关的技术，以及如何使用这些数据。

　　以上的博文，纯属个人的无聊记录与吐槽，设计到某些互联网的公司的部分，也是纯属希望能够做得更好。

　　正如书中的最后一句话，凡是过去，皆为序曲。

　　个人理解，过去的历史数据可能就直接丢掉了，但是现在我们应该利用这些数据，去做更有价值的事情。