Category Archives: Data Mining

R을 기반으로 한 빅데이터 분석 특강 후기

* 이 포스팅은 (주) 박영사에서 출판되는 한성대학교 권혁제 교수님의 “Dance with R”  저서 특강 참여 후기입니다. * 포스팅을 고려하지 않은 후기이므로 사진이 없습니다. ㅜㅜ 날씨가 추워지는 어느 날, 회사 벽에 위 그림과 같은 포스터가 붙었다. “Dance with R”  공짜.. 아니 무료 강좌입니다. 저자의 서명이 들어간 저서 증정 이벤트! 도 있다고 한다. 이렇게 좋은 기회를 놓.칠.소.냐.… Read More »

972 total views, 2 views today

Apache Giraph – From installation to Example execution

아파치 하둡 기반의 다양한 플랫폼 중에서 오늘은 Apache Giraph 를 알아보고,  예제인 SimpleShortestPathsComputation 을 실행해 보려고 한다. 먼저 Giraph 에 대한 소개를 보자(http://giraph.apache.org/) Welcome to Apache Giraph! Apache Giraph is an iterative graph processing system built for high scalability. For example, it is currently used at Facebook to analyze the social graph formed by users and… Read More »

1,848 total views, no views today

Data Mining Algorithm List Tree

related material: 『Data Mining』-written by Ian H. Witten Basic Data Mining Algorithm ├───기본 규칙 추출: 1R ├───통계 모델링: 단순 베이지안 , 가우시안/정규분포(수치형) ├───분할정복기법: 의사결정트리 ├───연관 규칙 마이닝 ├───선형모델 │               ├수리예측: 선형 회귀 │               ├선형분류: 로지스틱 회귀 │            … Read More »

1,675 total views, no views today

Terms-C4.5(Pseudo Decision Tree Guidance System)

related material: 『Data Mining』-written by Ian H. Witten Category: Divide and conquer technique: Decision Tree Divide and conquer algorithms for Decision Tree 하향식 또는 Top-down Pseudo Decision Tree  유도 방법이라고도 불림 시드니 대학의 J.Ross Quinlan(wiki)에 의해 개발 및 개선 정보 이득을 기준으로 설명한 스킴은 기본적으로 ID3 스킴과 동일 이득비를  사용하는 스킴은 수년에 걸쳐 여러 차례… Read More »

1,730 total views, no views today

Terms-Information gain ratio

related material: 『Data Mining』-written by Ian H. Witten Category: Divide and conquer technique: Decision Tree Information Gain Ratio : 결정 트리 구조에서, 한 속성에 대한 가지 생성은 정보 이득 값(information gain) 이 가장 큰 값을 통해 이루어진다. 하지만, 정보 이득 값이 도출 가능한 속성 값이 많은 속성을 선호하는 경향이 있어, 이를 상쇄하기 위해 이득비(gain ratio)… Read More »

1,898 total views, no views today

Terms – information, bit

related material: 『Data Mining』-written by Ian H. Witten Category: Divide and conquer technique: Decision Tree Information Caculating (Decision Tree) Rules yes or no 둘 중 하나라도 0일 경우 information value 는 0 yes & no 가 동일한 값이면 max information value 가 된다. 정보는 단계적(multistage) 속성을 따른다. 예를 들면 info([2,3,4]) 의 경우,데이터가 2 또는 7(=3+4)… Read More »

1,461 total views, no views today

[Data Mining] Basics Summary – Supervised & Unsupervised

* Supervised & Unsupervised Learning  – definitions below are cited from wikipedia: –> Machine Learning  Supervised learning is the machine learning task of inferring a function from labeled training data The training data consist of a set of training examples. In supervised learning, each example is a pair consisting of an input object (typically a… Read More »

1,833 total views, no views today

[Data Mining] Basics Summary – Data Types, Analysis Methods

Data Types, Analysis Methods * Data Mining > Explaining the Past * Data Mining > Explaining the Past > Data Exploration > Univariate Analysis Categorical Variables: A categorical or discrete variable is one that has two or more categories (values).  Types Nominal: No intrinsic ordering to its categories (e.g.: Gender – male/female) Ordinal: Variables  those… Read More »

1,276 total views, no views today

More Data Mining with Weka (1.6: Working with big data)

게시일: 2014. 4. 27. More Data Mining with Weka: online course from the University of Waikato Class 1 – Lesson 6: Working with big data http://weka.waikato.ac.nz/ Slides (PDF): http://goo.gl/Le602g https://twitter.com/WekaMOOC http://wekamooc.blogspot.co.nz/ Department of Computer Science University of Waikato New Zealand http://cs.waikato.ac.nz/ 카테고리 교육 라이선스 크리에이티브 커먼즈 저작자 표시 라이선스(재사용 허용) Remix this video 소스 동영상… Read More »

1,582 total views, no views today

More Data Mining with Weka (1.5: The Command Line interface)

게시일: 2014. 4. 27. More Data Mining with Weka: online course from the University of Waikato Class 1 – Lesson 5: The Command Line interface http://weka.waikato.ac.nz/ Slides (PDF): http://goo.gl/Le602g https://twitter.com/WekaMOOC http://wekamooc.blogspot.co.nz/ Department of Computer Science University of Waikato New Zealand http://cs.waikato.ac.nz/ 카테고리 교육 라이선스 크리에이티브 커먼즈 저작자 표시 라이선스(재사용 허용) Remix this video 소스 동영상… Read More »

1,469 total views, no views today