딥러닝 1일차

국내 머신러닝/딥러닝 대가 

 - 김성훈 홍콩과학기술대교수

 - https://hunkim.github.io/ml/

 - 모두를 위한 딥러닝

빅데이터

 - 사전적 : 데이터를 한계를 넘어서는  데이터 

 - 빅데이터의 요소  

   a.볼륨:데이터량이 많다

     * 크기계량(바이트량,레코드수,트랜젝션,테이블,파일수)

     * 크기(수십 테라바이트 혹은 수십 페타바이트에해당하는 빅데이터)

   b.다양성:조사범위 다양    

     * 정형화 정도 따라 구분 (정형, 반정형, 비정형)

   c.속도:데이터 모이는 속도가 빠름

     * 데이터 수집,저장,분석 등이 실시간으로 처리 필요 (모든 데이터가 요구하는 것은 아님)

   d.진실성:가짜데이터가 많다

   e.가치:무가치한 데이터가 많다

   * http://www.rosebt.com/blog/data-veracity

 - 볼륨이 없으면 속도라도 빠르게..

 - 추세  1->2->3

   1. 3V : Vloume(양,용량), Variety(다양성), Velocity(속도)

   2. 4V : Veracity(진실성,정확성) or Value(가치)

   3. 5V: Veracity and Value

   

 - 단순한 통계를 위한 인공지능을 사용하는건 비효율적 (일본도로 사과를 자르는 격)

 - 인공지능을 위해서 빅데이터가 있어야 가능

 

 - 빅데이터의 필요성

   * 기술의 발달 : 기술발달로 데이터 수집량 증가, 데이터 처리 속도 증가, 데이터 생산자의 급속한 증가   

   * 모바일 디바이스 실시간 데이터량 증가

 - 데이터수집 서버>  서버 분산> 배치처리>데이터 통합 서버

 - 웹서버 > 수집서버 > 저장서버

 - 수집에이전트>수집데몬>하둡파일시스템

텐서플로우 mnist 한글

https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/tutorials/mnist/pros/

인공지능

 - 지능 이론

   1. 스피어만 요인설

    * 추론능력

    * 어휘능력

   2. 카델의 유동지능/결정기능

    * 새로운 상황 적응하는 유동성적응

    * 학교,문화등 기술축적하는 결정성지능

   3. 하워드가너의 다중기능 

    * 8가지 능력인 다중지능(신체,논리,운동,음악,언어,공간,자아,대인)

   4.스턴버그의 삼위일체 기능

지능의 특징 (한정적)

 - 적응적

 - 학습능력

 - 선행지식을 활용

 - 상호작용과 조정

 - 문화특수적

 - 지성은 감정과는 독립 하여 사고

데이터사이언스(data science)

 - 컴퓨팅(계산기반) 

  *단순계산 

 - 인공지능(알고리즘 기반) 

  * 인공적으로 만든 지능 

 - 머신러닝(기계학습 데이터기반) 

  * 기계가 합습하다 

 - 딥러닝(심층학습)

  * 인간을 흉내 낸 기계학습 

 -빅데이터 

 - 데이터 미이닝

데이터 마이닝(통계학)

 - 필요 데이터로 정제

  * 발견할 지식의 종류에 따라서 분류(Classification), 요약(Summarization), 군집화(Clustering)

  * 탐사할 데이터베이스의 종류에 따라 관계형(Relation) DB, 객체지향(Object-Oriented) DB 등

  * 탐사 기법에 따라서 기호처리식 인공지능적 방법론, 신경망적 방법

 - 데이터 마이닝 과정

  * 자료 선택 > 자료 변환 > 정보 추출 > 해석 및 취합 / 시각화

머신러닝(컴퓨팅)

 - 목적

   * 기계가 학습한다. 데이터에서 새로운 데이터가 제시 ㅣ된 것에 대한 예측

 - 특징

   * 코딩에 의한 판단이 아닌 입출력 학습에 의한 판다

 - 발생

   * 1956 다트머스 컨퍼런스에서 인공지능 도입

   * 1959 아서 사무엘에의한 체커게임 논문에서 머신러닝 용어사용

   * 커네기 멜론의 톰 미첼 교수

    + 머신 러닝의 정의

    + 프로그램이 태스크 T를 수행함에 있어 P만큼 성능 개선E가 이뤄지면 태스크 T와 성능 P에 대해 경험 E를 학습했다고 할수 있다.

    + Learning=P+E

 - 발달

   * 신경모형 패러다임 

   * 심볼릭 학습 패러다임

   * 지식집약 패러다임

머신러닝 학습 종류

 - 지도합습(Supervised Learning) : X->y를 알려줌

  * 분류(Classification) y가 이산적

  * 회귀(Regression)

  * y가 연속적(실수)

 - 비지도학습(Unsupervised Learning): Y가 없는 경우

  * 군집화(Clustering)

  * 분포 추정(Underlying Probability Density Estimation)

 - 반지도학습(Semisupervised learning): Y가 부분 없는 경우

  * 있는 경우를 보충해서 학습

 - 강화학습(Reinforcement Learning)

  * 지도가 없이 Action 에 대한 보상으로 가중치 설정

   + 지연보상 문제(당장 손해를보더라도왕을 잡아야하는데..)

   + 신뢰할당 문제(얼마나 보상해야 옳은 것인가?)

  * 관련학문

   + 인공지능,제어이론,신경과학,운영과학,행동심리학

지도학습

 - 예측

  * 회귀 기법(regression techniques)

 - 분류

  * 회귀(로지스틱)

  * 사례기반추론,인스턴스기반학습

  * 서포트 벡터 머신

  * 결정 트리(decision trees)

  * k 최근접 이웃(k-nearst neighbors)

  * 베이지안 신뢰 네트워크(Bayesian belief networks)

  * 은닉 마르코프 모델(hidden Markov models)

비지도 학습

 - 평할/분할 구누집

  * K-mean 클러스터링

  * DBSCAN 클러스터링

 - 계층적 군집 모델

https://wikidocs.net/