大數據
-
全球敏捷運維峰會Gdevops 2017成都站嘉賓主題提前看！
2017年全球敏捷運維峰會（Gdevops, Global Devops Summit）將于2017年在成都、上海、北京、廣州四城全面啟動，本次峰會由上海市經濟和信息化委員會指導，上海市云計算產業促進中心、DBAplus社群主辦，數十家媒體單位共同支持，活動家提供全球敏捷運維峰會在線報名服務。 成都站即將于13日啟航，搭車地址：https://www.huo…
-
一起學習吧：SDCC 2017即將在上海共話架構、數據和運維！
2017活動家邀你一起學習吧！SDCC 2017在上海共話架構、數據和運維，還有兩天！【召開時間為：3月17至3月19日】 在互聯網大潮下，2017年的就業環境越發惡劣，技術人如何去適應技術變革和學習新技術，以及如何快速增強自身的技術實力成為亟需解決的問題。如果你在看完一本技術圖書后還是疑惑不解，處于目前項目遇到困難時無人請教的尷尬境地，亦不清楚業界同行在使…
-
優云軟件數據專家最佳實踐：數據挖掘與運維分析
這份研究報告，作者是優云軟件數據專家陳是維，在耗時1年時間制作的一份最佳實踐，今天和大家分享下，關于《數據采礦和運維分析》，共同探討~ 數據挖掘（Data Mining）是從大量數據中提取或“挖掘”知識。 廣義數據挖掘：數據挖掘是從存放在數據庫、數據倉庫或其它信息庫中的大量數據挖掘有趣知識的過程。 數據挖掘技術側重：1）概率與數理統計 2）數據庫技術 3）人…
-
Memcache存儲大數據的問題
Memcache存儲大數據的問題 huangguisu Memcached存儲單個item最大數據是在1MB內，如果數據超過1M,存取set和get是都是返回false，而且引起性能的問題。 我們之前對排行榜的數據進行緩存，由于排行榜在我們所有sql select…
-
大數據計算：如何僅用1.5KB內存為十億對象計數
Big Data Counting: How To Count A Billion Distinct Objects Using Only 1.5K This is a guest post by Matt Abrams (@abramsm), from Clearspring, discussing how they are able to accurat…
-
使用Storm實現實時大數據分析
摘要：隨著數據體積的越來越大，實時處理成為了許多機構需要面對的首要挑戰。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上結合了汽車超速監視，為我們演示了使用Storm進行實時大數據分析。CSDN在此編譯、整理。 簡單和明了，Storm讓大數據分析變得輕松加愉快。 當今世界，公司的日常運營經常會生成TB級別的數據。數據來源…
-
6個用于大數據分析的最好工具
大數據是一個含義廣泛的術語，是指數據集，如此龐大而復雜的，他們需要專門設計的硬件和軟件工具進行處理。該數據集通常是萬億或EB的大小。這些數據集收集自各種各樣的來源：傳感器，氣候信息，公開的信息，如雜志，報紙，文章。大數據產生的其他例子包括購買交易記錄，網絡日志，病歷，軍事監控，視頻和圖像檔案，及大型電子商務。 在大數據和大數據分析，他們對企業的影…
-
常用大數據詞匯中英文對照表
A 聚合(Aggregation) – 搜索、合并、顯示數據的過程 算法(Algorithms) – 可以完成某種數據分析的數學公式 分析法(Analytics) – 用于發現數據的內在涵義 異 常檢測(Anomaly detection) – 在數據集中搜索與預期模式或行為不匹配的數據項。除了“Anomalies”,用來表示異常的詞有以下幾種：outlie…
-
關于大型網站技術演進的思考（三）：存儲的瓶頸（3）
原文出處： 夏天的森林 存儲的瓶頸寫到現在就要進入到深水區了，如果我們所做的網站已經到了做數據庫垂直拆分和水平拆分的階段，那么此時我們所面臨的技術難度的挑戰也會大大增強。 這里我們先回顧下數據庫的垂直拆分和水平拆分的定義： 垂直拆分：把一個數據庫中不同業務單元的數據分到不同的數據庫里。 水平拆分：是根據一定的規則把同一業務…
-
數據分析≠Hadoop+NoSQL，不妨先看完善現有技術的10條捷徑
讓業務搭乘大數據技術確實是件非常有吸引力的事情，而Apache Hadoop讓這個誘惑來的更加的猛烈。Hadoop是個大規?？蓴U展數據存儲平臺，構成了大多數大數據項目基礎。Hadoop是強大的，然而卻需要公司投入大量的學習精力及其它的資源。 如果得到正確的應用，Hadoop確實能從根本上提升你公司的業務，然而這條Hadoop的應用之路卻充滿了荊棘。另一個方面…
