배움기록

데이터프레임에서 특정 문자 포함 행 추출하기데이터 분석을 하다 보면 데이터의 특정 열에서 영어 또는 한글이 포함된 행만 추출하거나, 특정 키워드가 들어간 행을 따로 가져와야 할 때가 많다. Python의 pandas 라이브러리를 사용하여 이러한 작업을 쉽게 수행할 수 있다. 1. 영어가 포함된 행만 추출하기특정 열에 영어 문자가 포함된 행만 추출하려면 str.contains() 메서드를 사용하면다. 이때, 정규식을 활용하여 영어 문자가 포함된 행을 필터링할 수 있다. import pandas as pd# 샘플 데이터 생성data = { '장소': ['Seoul Station', '서울역', 'Busan Port', '인천공항', 'Gwanghwamun', '김포공항'], '기타': [1, 2,..

ArcGIS pro 평가판 다운로드ArcGIS 평가판은 일반적으로 21일 동안 제공된다. 이 기간 이후에는 구매를해서 사용해야 되는데 현재 요금은 아래와 같은것 같다.ArcGIS Online (클라우드 기반):개인용: 기본 계정은 무료로 제공되며, 추가 기능을 사용하기 위한 구독은 연간 약 $100에서 시작한다. 비즈니스용: 사용자 수와 사용 용량에 따라 가격이 크게 다르다. 기본 요금은 연간 수천 달러에 이를 수 있다. ArcGIS Pro (데스크톱 GIS):Standard (Basic) 라이선스: 연간 구독 가격이 약 $700 - $1,500 정도이다. Advanced 라이선스: 더 많은 기능을 제공하며, 연간 구독 가격이 $3,000 이상일 수 있다. 영구 라이선스: 약 $1,500 - $4,000..

특정 열의 값만큼 행의 갯수 늘리기  - sample code#인원수 만큼 행을 늘리기expanded_df = df.loc[df.index.repeat(df['인원수'])].reset_index(drop=True)  - repeat 함수 설명파이썬의 pandas 라이브러리에서 repeat 함수는 인덱스를 반복하여 행을 확장하는 데 사용됩니다. 특히, 각 행을 여러 번 반복하여 데이터를 늘리고자 할 때 유용하다. repeat 함수는 Series 객체에 사용되며, 특정 값 또는 시리즈에 있는 값을 기반으로 각 요소를 반복한다.  - sample code 설명데이터프레임 df의 인덱스를 인원수 열의 값만큼 반복하는 역할을 합니다. 각 인덱스가 인원수 값만큼 반복되므로, 인덱스가 인원수만큼 늘어난다.

df.head와 print(df.head)의 차이 df.head()와 print(df.head)는 서로 다른 동작을 수행한다. 1.df.head(): 이 함수는 Pandas 데이터프레임(df라 가정)의 처음 몇 개의 행을 반환한다. 기본적으로 처음 5개의 행을 반환하지만, 괄호 안에 숫자를 넣어서 반환할 행의 수를 조절할 수 있다. 이 함수는 데이터프레임의 일부를 보여주는 것이 목적이므로 값을 반환한다. 예를 들면, df.head(10)은 처음 10개의 행을 반환한다. 2. print(df.head): 이것은 df.head 메서드 자체를 출력하는 것이다. 이렇게 하면 메서드의 위치와 속성을 출력하게 된다. 그러나 실제로 데이터프레임의 일부를 출력하지 않는다 일반적으로 데이터프레임의 내용을 확인하려면 df..

여러개 데이터프레임 한번에 merge 하기 from functools import reduce pop = reduce(lambda x,y: pd.merge(x,y, on='columns1', how='outer'), [df_1, df_2, df_3, df_4]) 아래는 설명 위 코드는 functools 모듈에서 reduce 함수를 가져와 사용하고 있다. reduce 함수는 리스트와 같은 반복 가능한(iterable) 객체에 함수를 순차적으로 적용하여 하나의 값으로 축소하는 데 사용된다. 여기서는 reduce 함수를 활용하여 pd.merge() 함수를 반복적으로 적용하여 여러 데이터프레임을 하나의 데이터프레임으로 병합하고 있다. reduce() 함수는 다음과 같은 구조를 가진다. reduce(functio..

- kiwipiepy 형태소 분석 설치 1. https://github.com/Kitware/CMake/releases/download/v3.27.0-rc2/cmake-3.27.0-rc2-windows-x86_64.msi 를 통해 파일 다운로드 2. 설치파일 실행 3. Next 클릭 4. 동의 체크 후 Next 클릭 5. 가운데 항목에 체크 후 Next 클릭 6. 경로 바꾸지 않고 그대로 둔채 Next 클릭 7. Install 버튼 클릭해서 설치 완료 8. 설치하고자 하는 가상환경에 kiwipiepy 명령어로 설치 - kiwi 형태소 분석기 명사 추출 kiwi 형태소 분석기로 형태소 분석 후 품사 태깅 된 결과에서 N으로 시작하거나 SL로 시작하는 품사 결과만 가져와서 명사추출하는 코드 * 태그 목록은 ..

중복 제거하기# 데이터 전체 data.drop_duplicates(inplace=True) -데이터 프레임에 있는 모든 열이 동시에 중복인 행을 삭제하고 중복 대표 한개의 행만을 남김 -inplace=True : 원본 데이터에 중복제거 한 것을 반영# 한개 열 data.drop_duplicates(['이름'],inplace=True)- '이름'이라는 열의 중복 행을 삭제하고 중복 대표 한개의 행만을 남김# 여러개 열 data.drop_duplicates([['이름','나이']],inplace=True)- '이름', '나이'가 같은 행을 삭제하고 중복 대표 한개의 행만을 남김# 중복된 행을 전부 삭제 data.drop_duplicates([['이름','나이']],inplace=True,keep=False)..

결측치와 공백의 차이 결측치와 공백은 데이터상에서 다른 개념이다. 얼핏봐서 비어있는 공백은 결측치 처럼 보일 수 있겠으나, 공백은 결측치가 아니고 하나의 공백(스페이스)라는 값이 들어있는 것으로 판단한다. 컴퓨터는 결측치(누락된 값)와 공백(빈 문자열)을 서로 다르게 인식한다. 아래는 두개념의 차이점이다. 결측치 (Missing Values): 결측치는 데이터의 누락이나 부재를 나타낸다. 컴퓨터에서는 주로 `NaN` (Not a Number) 또는 `None` (파이썬에서 사용)으로 표현된다. 데이터가 수치형일 때 `NaN`으로 표현되며, 파이썬과 같은 프로그래밍 언어에서는 `None`으로 표현됩니다. 결측치는 실제 값이 없거나 수집되지 않았거나 처리되지 않았을 때 발생한다. 예를 들어, 어떤 조사에서 ..

- 리스트 컴프리헨션 정의 리스트 컴프리헨션(List Comprehension)은 파이썬의 강력한 기능 중 하나로, 기존 리스트를 사용하여 간단하게 새로운 리스트를 생성하는 방법을 제공하는것이다. 이는 반복문과 조건문을 사용하여 리스트를 초기화하거나 필터링하는 작업으로 한 줄로 간결하게 표현할 수 있게 해주는 기능이다. 일반적으로 리스트 컴프리헨션은 다음과 같은 구조를 갖는다. [표현식 for 항목 in iterable if 조건문] 표현식 : 각 항목에 대해 평가되는 표현식이다. 새로운 리스트의 요소를 어떻게 계산할지를 정의한다. 항목 : iterable 객체(예: 리스트, 튜플, 문자열 등)에서 가져온 요소를 나타낸다. iterable : 반복 가능한 객체로, 순회하며 항목을 하나씩 가져올 수 있는 ..

파이썬에서는 `datetime` 모듈을 사용하여 날짜와 시간을 다룰 수 있다. `datetime` 모듈에서는 `datetime` 클래스를 제공하며, 이 클래스를 사용하여 날짜와 시간을 다룰 수 있다. 먼저, `datetime` 모듈과 `datetime` 클래스를 임포트한다. from datetime import datetime, timedelta 그리고 날짜를 나타내는 `datetime` 객체를 생성한다. 예를 들어, 2023년 4월 24일을 나타내는 `datetime` 객체를 다음과 같이 생성할 수 있다. date1 = datetime(2023, 4, 24) 이제, 다른 날짜와의 간격을 계산하려면 또 다른 `datetime` 객체를 생성하고, 두 객체 간의 차이를 계산하면 된다. 예를 들어, 2023년..