metashower

인공지능 소개 (AI) 우리는 우리들을 호모사피엔스(생각하는 인간)이라고 부른다. 왜냐하면 우리의 지능은 우리에게 아주 중요하기 때문이다. 수천년동안 우리는 우리가 생각하는 방식을 이해하기 위해 노력했으나 극히 일부분만 인식, 이해, 예측할뿐 여전히 뇌과학은 복잡한 문제로 남아있다. 이러한 우리의 생각방식을 인공지능(AI) 분야에 도입하여 이해하려는 시도는 머신러닝, 딥러닝 다양한 노력이 이세상에 드러나고 있는 듯 하다.. 현재 AI는 체스 게임이나 바둑, 수학이론 증명, 그림그리기, 악보작성, 복잡한 거리에서의 자동운전, 질병분석등 다양한 분야에서 시도되고 있는데 이것이 보여주는것은, AI는 지능적인 작업이 필요한 분야에서 적잘하게 사용될것이며, 이것은 다시 아마 우리사회 대부분의 분야에서 필요한 것이..

데이터 분석 2023. 7. 27. 18:05

빅데이터. 빅데이터라고 주위에서 말도 많고 또 그런 시대라하며 여러 강의, 도서, 회사, 마케팅, 사짜(?) 들이 판을 치고 있는거 같습니다. 최근 몇 년간 데이터 저장 및 처리 비용이 엄청나게 낮아지면서 생성되는 데이터의 종류, 양이 무척이나 다양해졌습니다. 데이터 분석가, 데이터 과학자 라고 불리는 직업군이 주목을 받게 된것도 사실상 위 배경에서 데이터가 무궁무진하니 이런 데이터를 잘 선별할수 있는 눈을 가진 사람이 필요하고 곧 새로운 비지니스 시장을 찾아 낼수 있는 사람들이 필요하게 된겁니다. 헤드헌팅 시장에서도 데이터과학자에 대한 수요가 점점 커지고 있는걸 보면 이들의 몸값도 상당히 올라가고 있는 추세 일겁니다. 하버드의 한 기업 잡지에서는 이미 몇년전에 데이터 과학자를 21세기의 가장 섹시한 직..

데이터 분석 2023. 7. 27. 18:05

1. Linear Regression (선형회귀) 종속변수 Y와 한개 이상의 설명변수 X 들과의 선형 상관관계를 모델링하는 회귀분석 기법이며 종석변수가 수치형변수 (연속변수) 일때 사용합니다. 가장 기본적인 방법론이고 종속변수와 설명변수간의 관계를 함수로 설명하기 때문에 이들 간의 관계를 확인하기에 용이하지만, 종속변수와 설명변수들 간에 선형관계만 가정하기 때문에 정확성을 높이는데에 한계가 있습니다. 2. Logistic Regression (로지스틱 회귀) 종속변수와 설명변수간의 관계를 함수로 설명하려는 측면은 동일하나 종속변수가 범주형 변수(이산변수) 일때 사용합니다. 분류 및 예측에 주로 사용되는 모델입니다. 로지스틱 회귀만 따로 설명하는 포스트로 이동하기 3. Ridge Regression (리지..

데이터 분석 2023. 7. 27. 18:04

R의 recommenderlab 패키지를 통해 추천시스템을 구현할수 있다. 지금부터 하나하나 step by step으로 간략하게 recommenderlab 패키지를 사용하는 방법을 실습 해보겠다. 먼저 패키지 설치 한다. install.packages("recommenderlab") library(recommenderlab) 테스트를 위해 랜덤으로 데이터를 만들어봅시다. U행은 user를 의미하고 i열은 item을 의미한다. 각 데이터들읜 user가 item에게 부여한 점수를 의미한다. user는 특정 item에게 점수를 주었을수도 있고 안주었을수도 있다. m = matrix(sample(c(as.numeric(0:5), NA), 50, replace = TRUE, prob = c(rep(.4/6,6),..

데이터 분석 2023. 7. 25. 16:12

다양한 데이터의 소스들로부터 R로 불러와서, 결합하고, 결측값과 특이값을 확인한 후 처리하고, 필요한 데이터만 선별적으로 선택 혹은 제거한 후 분석의 목적과 필요에 따라서, 그리고 데이터의 형태에 따라서 R에서는 다양한 데이터 변환 작업을 수행하게 된다. 고급 분석가와 그렇지 않은 분석가가 나뉘는 부분, 데이터 엔지니어와 데이터 분석가가 나뉘어지는 부분이 여기서 부터 이지 않을까 싶다. 업에 대한 지시와 더불어 분석의 목적과 분석의 기법에 대해서 정확히 알아야 하고, 데이터의 형태가 그에 맞는지, 맞지 않다면 어떻게 변환을 해야하는지 알아야 하기 때문이다. 그리고 데이터변환을 하는데 있어 통계적인 기본지식이 필요하다보니 여기 부터는 프로그래 밍을 잘하지만 통계를 잘 모르는 데이터 엔지니어의 경우 어려움을..

데이터 분석 2023. 7. 25. 16:09

모든 데이터에 행해야할 분석 1. 데이터 내용, 구조, 타입을 파악해야한다. R에서 dplyr::glimpse() 함수가 유용하다. 데이터 구조를 파악할 수 있는 str(), 데이터의 맨 앞 부분을 보여주는 head(), 데이터의 맨 뒷 부분을 보여주는 tail() 2. 데이터의 요약 통계량을 summary로 파악한다. 3. 결측치가 있는지 summary로 살펴 본다. 4. 무작정 시각화를 해본다. plot(), piars()를 돌려보면 좋다. 데이터의 관측치가 많을 때는 실행시간이 길으니 dplyr::sample_n() 함수등을 사용해 표본화 해본다. 데이터의 변수가 10개 이상많을 때에는 10열씩 구분하여 살펴보는것도 유용하다

데이터 분석 2023. 7. 25. 15:59