metashower

다양한 데이터의 소스들로부터 R로 불러와서, 결합하고, 결측값과 특이값을 확인한 후 처리하고, 필요한 데이터만 선별적으로 선택 혹은 제거한 후 분석의 목적과 필요에 따라서, 그리고 데이터의 형태에 따라서 R에서는 다양한 데이터 변환 작업을 수행하게 된다. 고급 분석가와 그렇지 않은 분석가가 나뉘는 부분, 데이터 엔지니어와 데이터 분석가가 나뉘어지는 부분이 여기서 부터 이지 않을까 싶다. 업에 대한 지시와 더불어 분석의 목적과 분석의 기법에 대해서 정확히 알아야 하고, 데이터의 형태가 그에 맞는지, 맞지 않다면 어떻게 변환을 해야하는지 알아야 하기 때문이다. 그리고 데이터변환을 하는데 있어 통계적인 기본지식이 필요하다보니 여기 부터는 프로그래 밍을 잘하지만 통계를 잘 모르는 데이터 엔지니어의 경우 어려움을..

데이터 분석 2023. 7. 25. 16:09

Anaconda VS pipenv 개발환경과 배포환경간에 사용되는 패키지와 버전들을 잘 관리해줄 필요가 있다. node.js를 사용한다면 package.json으로 프로젝트마다 사용되는 패키지들을 관리할수 있고, Spring이나 Spark를 사용해도 Maven이나 Gradle같은 좋은 패키지 관리자들이 있다. 파이썬의 pip는 아주 고약하게도 모든 패키지가 global하게 설치된다. 이해하는가? global하게 설치된다. 이것은 굉장히 불편한 단점이다. 다시 말하면 이것은 단점이다. 우리가 원하는것은 적어도 프로젝트 마다 패키지들을 설치하고 해당 프로젝트에서 어떤 패키지들을 사용하고 있는지 확인할 수 있어야 하며, Git을 이용해서 배포 환경에 프로젝트가 업로드 되었을 때, 배포 환경에서도 우리가 필요한..

Python 2023. 7. 25. 16:08

모든 데이터에 행해야할 분석 1. 데이터 내용, 구조, 타입을 파악해야한다. R에서 dplyr::glimpse() 함수가 유용하다. 데이터 구조를 파악할 수 있는 str(), 데이터의 맨 앞 부분을 보여주는 head(), 데이터의 맨 뒷 부분을 보여주는 tail() 2. 데이터의 요약 통계량을 summary로 파악한다. 3. 결측치가 있는지 summary로 살펴 본다. 4. 무작정 시각화를 해본다. plot(), piars()를 돌려보면 좋다. 데이터의 관측치가 많을 때는 실행시간이 길으니 dplyr::sample_n() 함수등을 사용해 표본화 해본다. 데이터의 변수가 10개 이상많을 때에는 10열씩 구분하여 살펴보는것도 유용하다

데이터 분석 2023. 7. 25. 15:59

1. 일반화(Generalization)란? '일반화'는 간단히 말해 서로 다른 개념에서 공통점을 찾는 것이다. 'A'와 'B', 'C'는 분명 다른 단어이지만 '영어'라는 공통점을 가지며, "ABC"와 "가나다"는 분명 다른 글자이지만 '문자'라는 공통점을 가진다. 이렇듯 어떤 개념을 포괄하는 공통된 개념을 찾아 서로 다른 개념들을 하나로 묶어 줄 수 있다. 이것을 일반화(Generalization)라고 한다. 2. 일반화 메소드 그럼 프로그래밍에서도 이런 일반화가 가능하지 않을까? 코드의 서로 다른 개념들 사이에서 공통적인 개념을 찾아 하나의 코드로 묶어주는 것 말이다. 예를들어 int, float, string 등은 분명 다른 타입이다. 하지만 이들은 '변수'라는 개념으로 묶어줄 수 있다. 이전에는..

C# 2023. 7. 25. 12:59

1. 컬렉션(Collection)? 컬렉션(Collection)은 간단히 말해 데이터 모음(자료구조) 이다. 즉, 우리가 잘 아는 배열이나 스택, 큐 등을 C#에서 컬렉션이라는 이름으로 제공하는 것이다. C#의 컬렉션을 사용하기 위해서는 우선 컬렉션 네임스페이스 사용을 선언해야 한다. Ex) using System.Collections; 이렇게 컬렉션 네임스페이스 사용을 선언한 후에는 원하는 컬렉션을 생성하여 사용할 수 있다. C#에서 제공하는 대표적인 컬렉션은 ArrayList, Queue, Stack, Hashtable 등이 있으며, 간단히 살펴보면 다음과 같다. 2. ArrayList ArrayList는 배열과 비슷한 컬렉션이다. 배열처럼 [] 인덱스로 컬렉션 요소에 접근이 가능하고, 특정 요소를 ..

C# 2023. 7. 25. 12:58

1. C++의 set(), get() C++로 클래스를 만들면 보통 데이터의 은닉성을 위해 변수를 Private나 Protected로 선언하고 , Set()과 get)함수로 변수를 읽고 쓴다. 문제는 클래스의 변수가 많아질수록 set(), get() 함수로 도배되어져가지고 가독성도 떨어지고 변수를 더 추가 할때마다 매번 Set(), Get() 함수를 작성해주어야 하는 불편함이 있다. 은닉성은 지킬수 있지만, 상당히 번거롭고 귀찮은 작업이다. class MyClass { public int Number; private int num { set { num = value; } get { return num; } } } static void Main(string[] args) { MyClass myclass =..

C# 2023. 7. 25. 12:56

typedef 는 C코드에서 흔히 볼수 있는 말그대로 타입선언이다. 하지만 이 typedef를 제대로 활용하기 위해서는 이해가 필요하다. typedef는 전처리기가 아니라 명령어이기 때문에 반드시 문장 끝에 세미콜론(;)을 붙여주어야 하며 모든 변수타입을 지정할 수 있다. 이는 가동성의 증대와 변수 타입을 효율적으로 관리하도록 한다. 웬만한 하나의 모듈, 자체에는 사실상 엄청난 typedef문이 들어가 있다. 각 회사마다 프로그램 내 규정에 맞도록 자료형을 정해놓는다. typedef의 의미는 " 변수명을 타입이름으로 변경하는 기능 " 이라고 말할수 있다. 보통 typedef A B; 라는 문장은 B를 A로 표시 한다고 해석했으나 그런식으로 해석할 경우에는 해석이 불가능한 복잡한 문장들을 접할 수 있다. ..

C 2023. 7. 25. 12:54

Calling Convention ( 함수 호출 규약 ) __cdecl __cdecl 은 C 및 C++ 프로그램의 기본 호출 규칙이다. 스택은 호출자에 의해 정리되기 때문에 vararg 함수를 수행할수 있다. __cdecl 호출규칙은 각 함수 호출에 스택 정리르 코드를 포함시키기 때문에 __stdcall 보다 큰 실행 가능 명령문을 생성한다. 요소구현 인수 전달 순서 오른쪽에서 왼쪽 스택 유지 관리 책임 호출하는 함수가 스택에서 인수를 꺼냅니다. 이름 데코레이션 규칙 밑줄 문자(_)는 C 링크를 사용하는 __cdecl 함수를 내보내는 경우를 제외하고 이름 앞에 붙습니다. 대/소문자 변환 규칙 대/소문자 변환은 수행되지 않습니다. 변수나 함수이름 앞에 __cdecl 한정자를 넣는다. C 명명 규칙 및 호출..

C 2023. 7. 25. 12:53

우리가 흔히 아는 문법인 do while은 잘 사용하지 않은 문법입니다. 하지만 라이브러리를 개발할 시에 do while 0 문은 아주 안정한 라이브러리 개발을 위해 반드시 사용해야할 usage가 있습니다. 지금부터 그것을 소개 해볼게요~ C나 C++로 작성된 라이브러리에서 많이 볼수 있는데 라이브러리 코드 내에서 매크로 함수의 사용성은 아주 많습니다. 라이브러리안 매크로 함수와 라이브러리를 사용하는 사용자의 코드간 문제를 한번 다뤄 보겠습니다. #include #define SWAP(X, Y, T) { T t = X; X = Y; Y = t; } int main() { int a = 10, b = 20; if (true) SWAP(a, b, int); // 별 문제 없을 것 같았지만, 여기서 문제가 생..

C 2023. 7. 25. 12:52

Coroutine 코루틴은 1. 특정일을 단계적으로 발생하게 할때 2. 시간의 흐름에 따라 발생하는 루틴을 작성할때 3. 다른 연상이 완료될때까지 기다리는 루틴이 필요할때 사용하면 굉장히 편리하게 사용할수 있다. 만약 단지 몇 초 동안 특정 연산을 지연시키기를 원한다면, Invoke를 사용하는 것을 고려해봐라. 물론 코루틴을 사용할 수는 있지만, 초보자들에게는 Invoke가 더 쉽다. 쓰레드와 코루틴 우선 코루틴은 쓰레드가 아니다... 코루틴은 비동기가 아니다. ( 비동기가 아니라는 말은 쉽게 말해 동시에 발생하지 않는다는 뜻이다. 쓰레드는 프로그램에서 다른 쓰레드와 함께 비동기로 실행될수 있따. 멀티프로세서 기계에서, 쓰레드는 실제 다른 쓰레드와 함께 동시에 코드가 실행수 있다. 이는 쓰레드를 프로그래..

Unity 2023. 7. 25. 12:50

소프트웨어 개발자는 끊임없이 변화하면서 성장해야 한다. 스스로 길을 잘 찾아서 성장하는 경우도 있고, 좋은 환경에서 개발을 하다보니 자연스럽게 실력이 향상되기도 한다. 하지만 열악한 환경에서 열심히 일만하다가 개발자로서의 실력은 점점 일어가는 경우도 있다. 아무리 사회가 어떻고, 회사가 열악하다고 불평을 해봤자 남는 것은 자신의 개발자로서의 실력 밖에 없다. 1. 익숙한 기술만 고집한다. 대부분의 사람들은 변화를 싫어한다. 익숙한 것을 사용할 때 업무의 효율도 높다. 하지만 지식노동자인 개발자는 익숙한 기술만 고집한다면 한계에 다다른다. 물론 환경이 그렇게 만들기도 하고, 다른 분야의 기술을 익힐 만한 시간과 여유가 없는 경우도 많다. 그러다 보면 새로운 기술이 필요한 상황에서도 익숙한 기술을 고집하는 ..

IT 기본소양 2023. 7. 25. 12:46

Design Pattern by Csharp Factory Method Pattern ( 팩토리 매서드 패턴 ) 1. Factory Method Pattern 정의 - 객체를 생성하기 위한 인터페이스를 정의하는데, 어떤 클래스의 인스턴스를 만들지는 서브 클래스에서 결정 팩토리 메소드 패턴을 이용하면 클래스의 인스턴스를 만드는 일을 서브 클래스에게 맡기게 된다. ( Define an interface for creating an object, but let subClass decide which class to instantiate. Factory Method lets a class defer instantiation to subclasses.) - 팩토리 메소드 패턴을 사용하는데에는 몇가지 이유가 있지만..

C# 2023. 7. 25. 12:45