빅데이터입문 (1) - OT+빅데이터분석이란? 23.09.05
Professor: D.J. Choi.
쉬운거만 가르치지 않겠다
해야할 일이 많다
내가 그래도 좀 열심히 했다라는 것을 느끼게 해줄 예정
전공이 계속 발전하는데 이러한 것을 따라갈 능력을 기를 수 있게 해줄 예정
학문은 지속해서 발전하고 있음
굉장히 빠른 속도로 발전하고 있음
빅데이터?
데이터: 가치와 지식을 가지고 있는 것
과거에는 서베이 기반 → 소수의 표본으로 전체데이터 대변 불가 / 인지에 기반한 편향된 데이터가 발생(bias)
현재에는 대량의 데이터(페이스북, 트위터, etc)가 존재, 무의식적인 행동(사용자의 미인지) 정보 수집가능
빅데이터는 다양한 방법으로 조사 및 분석, 해석 가능 → 무궁무진한 가치와 지식이 존재
3V: Volume(규모), Velocity(데이터 생성속도), Variety(다양성) 3가지 중 하나의 property를 가지면 big data라고 표현
데이터마이닝?
패턴(pattern)을 찾는 것
Valid하며 Useful하며 Unexpected하며 Understandable해야함
다른 데이터에도 적용가능한 패턴
사람들이 유용하게 사용가능한 분석결과
일반적으로 알려지지않은 정보
사람들을 이해시킬 수 있어야함
데이터마이닝 작업
Application driven으로 사용자의 행동정보를 수집가능
Descriptive methods: 일반적인 통계분석법 활용
Predictive methods: 독립변수로 target value 예측 > target value 예측가능 > 독립변수의 상관도, 어떤 독립변수가 더 많은 영향을 미치는지 파악
"데이터마이닝은 내가 가진 만큼만 cover 가능하다, 그 이상은 불가함"
수업과 프로젝트를 two track으로 별도 진행한다고 한다.... 많은 시간과 리소스를 투자해야할 것 같다..
그만큼 얻어가는 것도 많겠지