빅데이터입문 (1) - OT+빅데이터분석이란? 23.09.05

Professor: D.J. Choi.

 

쉬운거만 가르치지 않겠다

해야할 일이 많다

내가 그래도 좀 열심히 했다라는 것을 느끼게 해줄 예정

전공이 계속 발전하는데 이러한 것을 따라갈 능력을 기를 수 있게 해줄 예정

학문은 지속해서 발전하고 있음

굉장히 빠른 속도로 발전하고 있음

 

빅데이터?

데이터: 가치와 지식을 가지고 있는 것

과거에는 서베이 기반 → 소수의 표본으로 전체데이터 대변 불가 / 인지에 기반한 편향된 데이터가 발생(bias)

현재에는 대량의 데이터(페이스북, 트위터, etc)가 존재, 무의식적인 행동(사용자의 미인지) 정보 수집가능

빅데이터는 다양한 방법으로 조사 및 분석, 해석 가능 → 무궁무진한 가치와 지식이 존재

 

3V: Volume(규모), Velocity(데이터 생성속도), Variety(다양성) 3가지 중 하나의 property를 가지면 big data라고 표현

데이터마이닝?

패턴(pattern)을 찾는 것

 

Valid하며 Useful하며 Unexpected하며 Understandable해야함

다른 데이터에도 적용가능한 패턴

사람들이 유용하게 사용가능한 분석결과

일반적으로 알려지지않은 정보

사람들을 이해시킬 수 있어야함

 

데이터마이닝 작업

Application driven으로 사용자의 행동정보를 수집가능

Descriptive methods: 일반적인 통계분석법 활용

Predictive methods: 독립변수로 target value 예측 > target value 예측가능 > 독립변수의 상관도, 어떤 독립변수가 더 많은 영향을 미치는지 파악

 

"데이터마이닝은 내가 가진 만큼만 cover 가능하다, 그 이상은 불가함"

 

수업과 프로젝트를 two track으로 별도 진행한다고 한다.... 많은 시간과 리소스를 투자해야할 것 같다..

그만큼 얻어가는 것도 많겠지