bullsoneshot의 개발 블로그

imweb을 활용한 브랜딩 페이지 (카네이테이)

bullsoneshot — Tue, 21 Apr 2026 16:10:44 +0900

imweb을 활용한 브랜딩페이지 만들기

업사이클링 브랜드인 카네이테이 공식 홈페이지

카네이테이

친환경 업사이클링 브랜드 카네이테이

kaneitei.com

imweb으로 생성한 카네이테이 리디자인 홈페이지

카네이테이 (KANEITEI)

카네이테이 브랜딩 아임웹 실습페이지

kaneitei-practice.imweb.me

QR코드

메인 페이지

신청하기

[이슈해결] 프로그래머스 백준허브 연동 안될때

bullsoneshot — Mon, 22 Dec 2025 19:55:02 +0900

오랜만에 프로그래머스 문제를 풀다 보니까 어느 순간 깃허브 연동이 안되고 있는것을 확인했다

백준허브도 재설치해봤는데 해결이 안됐고

구글링을 열심히 해보니까 최후의 수단으로 확장프로그램으로 CORS를 깔아보기로 했다

Open options page를 누르고 들어간다

2번과 3번 옵션에 체크를 표시해준다

그러고 다시 프로그래머스를 실행하면 원래대로 초록색 체크가 뜨면서 정상적으로 커밋이 되는걸 확인할 수 있다

Git 협업

bullsoneshot — Fri, 27 Jun 2025 10:46:27 +0900

git flow (Branch Management)

소스코드를 관리하고 배포하기 위한 브랜치 관리 전략

대표적인 모델 (5가지 브랜치를 사용)

- Master : 제품으로 출시되는 Branch, Production의 개념

- Develop : 다음 출시 버전을 개발하는 Branch

- Feature : 기능을 개발하는 Branch, 주로 이 브랜치에서 개발

- Release : 이번 출시 버전을 준비하는 Branch, QA 진행 (Deploy)

- Hotfix : 출시 버전에서 발생한 버그를 수정하는 Branch

Git Flow 활용 개발 시나리오

처음에 Master(Main)과 Develop 생성
새로운 추가 작업은 Develop에서 Feature Branch를 생성
Feature는 Develop으로 Merge (이 때 Develop의 최신 상태를 확인)
QA를 위해 Develop에서 Release Branch 생성
QA에서 발생한 버그는 Release에서 수정
QA가 끝나면 Release에서 Develop / Master(Main)으로 각각 Merge
Hotfix는 Master에서 생성하여 수정한 뒤, Master, Develop에 각각 Merge

Git Flow 응용

QA를 진행할 때 Release(Deploy) branch는 test서버에 배포해놓고 수행
Master Branch의 경우에는 운영서버에 배포하도록 설정

Git Flow 적용

Branch 이름은 사내 컨벤션에 맞게 적용 (Master → Main, Release → Deploy)
Master → Hotfix / Release → Develop → Feature
여러 명이 동일한 개발지점을 다양한 개발을 할 수 있도록 하기 위해 Feature의 이름을 세분화
- ex) feat/back/login, feat/front/dashboard, issue/#1

Issue Tracking

이슈 관리를 지원하는 원격저장소 플랫폼의 경우 (ex. GitHub, GitLab) issue tracking을 지원
Issue ID를 commit message에 입력하면 관련 링크로 이동할 수 있도록 하이퍼링크
- 예: 이슈를 나타내는 기호를 #
- 이슈 기반으로 개발하는 것을 IID (Issue-driven Development) 라고 함

Issue에는 Task를 별도로 생성하여 할 일을 관리할 수 있음 (단, Issue 목록에 추가됨, Sub Issue라고 보면 됨)
이슈 목록에 추가되는 것이 싫다면, description에 markdown 체크리스트 모델을 활용하는 것도 괜찮음 → ex) - [ ] To do
Linked Items는 특정 Issue와 연결 기능 (예: 수정 Issue 등 연결 필요 시 사용, 혹은 Issue → history Issue로 연결하여 관리하는 법 등)
프로젝트 관리 도구 (jira)를 Issue 대신하여 사용하기도 함

Commit Convention

커밋 컨벤션은 개발 내용에 대한 이해와 추적을 쉽게 하기 위한 목적
Issue와 Merge Request를 넘어서 추적 가능
COMMIT_TYPE (예시)
- feat : 새로운 기능 추가
- fix : 버그 수정
- docs : 문서 추가 및 수정
- style : 코드 포멧팅, 세미콜론 누락, 오타 수정 등
- test : 테스트 코드
- refactor : 리팩토링
- chore : 빌드 업무 수정, 패키지 매니저 수정
COMMIT_SUMMARY (예시)
- 영어로 작성 (or 한글로 작성)
- 마침표를 입력하지 않음
- 50자를 넘기지 않음

병합 & 충돌 관리 (Merge Request)

git flow에 의해 브랜치를 구분하여 개발을 진행하면, 그것을 상위 브랜치에 병합해야 함
- 이것을 Merge라고 하고, 협업 할 때 병합 관련 내용과 충돌을 해결, 변경 사항을 공유하기 위한 목적 등으로 Merge Request(Pull Request)를 넣음.
MR, PR의 경우 제목은 병합하는 commit들을 요약
- 상세 내용의 경우 commit에 대한 세부 설명이나 특히 리뷰를 요청할 부분을 남길 수 있음

- 코드 리뷰는 Merge Request에서 주로 진행

Reviewer에 코드 리뷰 대상자 설정
Reviewer는 change 내용을 보고 review를 진행할 수 있음

병합 중, 버전 간의 수정한 파일의 겹친 조합들이 발생할 수 있음
병합 내용은 충돌된 두 버전에서 충돌된 부분에 대해 처리하는 것
- 그래소서 충돌 해결한 뒤 이어 병합할 branch에 commit, merge
- 체계있는 충돌이 낮을 경우 해결할 수 있도록 웹 IDE를 지원해주기 때문에, 충돌 해결 후 merge

Branch 생성

bullsoneshot — Sun, 22 Jun 2025 16:53:16 +0900

분기 (Branch)

여러 사람과 협업할 경우 Master에서 바로 작업하는 것이 아닌 “기능이나 목적별로” branch를 따로 만들어서 작업 후 Master에 병합하는 식으로 협업

Master (=main)

Your Work

branch1
작업 후 merge
중간에 move (다른 브랜치로 이동 또는 업데이트한 듯한 흐름)

Someone Else’s Work

branch2

branch 이름 예시) 웹 서비스 개발

develop : 개발 단계 코드를 merge(합치고), test
feat/front/dashboard : frontend 작업, dashboard 기능 branch
feat/back/login : backend 작업, login api 기능 branch
deploy : 배포 브랜치

이름으로 된 새 폴더를 만든다

해당 폴더 안에 들어가서 새 파일을 작성한다

git status를 해보면 확인가능

git add 폴더경로/파일명 하면 해당 파일만 업로드 가능

git status로 확인가능

git commit 으로

git log로

git push

main 브랜치와의 차이점이 있다면 내 이름으로된 폴더가 있다

상단에 This branch is 1 commit ahead of main 이라는 뜻은 바로 그 뜻

위에 compare & pull request는 main브랜치와 merge를 할 수 있다

git checkout main하면 이름으로된 폴더가 없는데

다시 jeon99yu로 하면 내 이름으로 된 폴더가 생긴다

그리고 잠시 이름폴더에 19파일 삭제

main에는 17~19 파일이 다 있음

main의 19파일을 jeon99yu로 합치고싶음

git merge main으로 main과 병합

병합 후에는 :q로 나와서 엔터누르면 합쳐진 거 확인

브랜치 삭제하는 법

git branch -D 브랜치명

git branch --list 로 삭제되었는지 확인

Repository 생성

bullsoneshot — Sat, 21 Jun 2025 15:50:44 +0900

그림 설명 (왼쪽: 데스크탑 PC / 오른쪽: 노트북)

공통 요소

TIL: Today I Learned 폴더(프로젝트명)
로컬 저장소: 내 컴퓨터에 있는 Git 저장소
원격 저장소: GitHub에 있는 저장소

[노트북]에서의 작업 순서 ️ (오른쪽)

git init: 노트북에서 새로운 Git 저장소 생성
로컬 작업 및 커밋: add, commit 등으로 로컬에서 작업
git remote add origin <URL>: 원격 저장소 GitHub 주소 연결
git push: 노트북의 변경 사항을 GitHub에 업로드

(왼쪽) [데스크탑 PC]에서의 작업 순서

git clone <URL>: GitHub에 있는 원격 저장소를 복사해서 데스크탑에 로컬 저장소 생성
로컬에서 작업: 파일 수정 및 커밋
git push: 데스크탑에서 GitHub로 업로드 또는 git pull: GitHub에서 변경된 내용을 가져옴

흐름 요약

1️⃣	노트북에서 git init으로 TIL 프로젝트 생성
2️⃣	원격 저장소(GitHub)에 연결하고 push
3️⃣	데스크탑에서는 git clone으로 GitHub에서 TIL 프로젝트 복사
이후	양쪽 모두 pull/push로 협업 및 동기화 가능

레포지토리 생성

1. GitHub에서 저장소(Repository) 만들기

GitHub 접속 후 오른쪽 상단의 [New Repository] 또는 초록색 [New] 버튼 클릭
저장소 이름을 지정하고, Public/Private 설정 후 [Create Repository] 클릭 → 원격 저장소가 생성

2. 로컬 폴더 구성 (Workspace 만들기)

내 PC에 notebook이라는 이름의 폴더 생성 (로컬 작업 공간)
이 폴더 안에 작업할 .txt 파일을 넣는다. (예: work.txt)

3. Git Bash로 로컬 저장소 만들기

Notebook 폴더 안에서 Git Bash Here 마우스 우클릭 → [Git Bash Here] 선택
아래 명령어 입력:

git init                      # Git 저장소 초기화 (.git 생성됨)
git add work.txt              # txt 파일을 Git 스테이징 영역에 추가
git commit -m "Add work.txt"  # 첫 커밋 저장

4. 커밋 로그 확인하기

git log

이 명령어를 입력하면 해당 로컬 저장소에서의 모든 수정 내역(commit 로그) 을 확인할 수 있다.
작성자, 날짜, 메시지, 커밋 해시값 등이 출력

GitHub란?

bullsoneshot — Sat, 21 Jun 2025 15:33:45 +0900

GitHub란?

GitHub는 Git을 기반으로 한 원격 저장소 호스팅 서비스

즉, Git으로 관리되는 소스 코드 저장소를 웹에서 쉽게 관리하고 공유할 수 있도록 도와주는 플랫폼이다.

GitHub의 핵심 기능

원격 저장소(Remote Repository)	로컬에서 작업한 내용을 업로드(push)하거나 다운로드(pull)
버전 관리	Git을 통해 코드의 변경 이력을 기록하고 관리
협업 기능	여러 개발자들이 브랜치를 만들어 작업 후 병합(Pull Request)
이슈 관리	버그, 기능 요청 등을 기록하고 추적
코드 리뷰	PR(Pull Request)로 서로의 코드를 검토 가능
프로젝트 관리	Kanban 보드, 마일스톤, 프로젝트 관리 도구 제공

GitHub를 사용하는 이유

팀 프로젝트에서 협업하기 편함
오픈소스 프로젝트를 공유하거나 참여할 수 있음
포트폴리오처럼 개발 이력을 공개할 수 있음
자동 배포(GitHub Actions), 웹호스팅(GitHub Pages) 등 다양한 부가 기능 제공

Git vs GitHub vs Workspace 관계 정리

Git	로컬에서 버전 관리를 수행하는 도구
GitHub	Git 저장소를 인터넷에 호스팅해주는 서비스 (원격 저장소)
Workspace	사용자가 실제로 코드를 작성·편집하는 폴더(작업 디렉토리)

1. Git: 버전 관리 도구

Git은 내 컴퓨터에서 코드를 관리하는 툴
주된 기능: commit, branch, merge, log, checkout 등
Git은 .git이라는 숨겨진 폴더를 통해 코드 변경 이력을 추적
Git은 로컬(local)에서만 동작해도 사용 가능하지만, 협업을 위해선 원격 저장소가 필요

2. GitHub: 원격 저장소 서비스

GitHub는 Git 저장소를 인터넷에 올려서 다른 사람들과 공유할 수 있게 해주는 플랫폼
Git과 함께 사용하며, push, pull, clone 같은 명령어를 통해 GitHub와 소통
협업 기능(Pull Request, Issue, 리뷰 등)이 탁월해서 오픈소스와 팀 프로젝트에 자주 사용

3. Workspace (작업 공간)

Git이 관리하는 폴더 또는 디렉토리를 워크스페이스 또는 작업 디렉토리라고 부름
여기서 코드 파일을 생성하고 수정
이 작업공간은 Git에 의해 Untracked → Staged → Committed 상태로 관리

실제 흐름 예시 (개발자 입장에서 보기)

1. 작업 공간 생성 → 로컬에서 Git이 관리하는 워크스페이스(작업 공간)를 생성

mkdir my_project 
cd my_project 
git init

2. 코드 작성 및 커밋 → 작업 공간에서 만든 파일을 Git으로 버전 관리

echo "print('hello')" > hello.py 
git add hello.py 
git commit -m "Add hello script"

3. GitHub에 원격 저장소 생성 후 연결 → 로컬 Git 저장소를 GitHub와 연결하고 코드를 업로드

git remote add origin https://github.com/username/my_project.
git git push -u origin main
# 다른 사람이 클론해서 작업 → 다른 개발자가 GitHub에서 코드를 받아서 자신의 로컬 워크스페이스를 구성합
git clone https://github.com/username/my_project.git

핵심 관계 요약

[작업 공간] ← 실제 파일 작업
   │
   └─> [Git] ← 버전 관리 수행 (commit, branch 등)
         │
         └─> [GitHub] ← 온라인 협업/공유/백업

비유로 이해하면?

Git은 내 컴퓨터에 설치된 ‘타임머신 도구’
GitHub은 타임머신의 기록을 ‘클라우드에 저장’하는 공간
Workspace는 내가 실제로 작업하는 책상

Git 명령어 흐름 정리

bullsoneshot — Fri, 20 Jun 2025 13:15:29 +0900

Git 명령어 흐름정리

Git이란?

Git은 소스 코드의 변경 사항을 추적하고, 협업을 가능하게 해주는 분산 버전 관리 시스템(VCS)이다.

저장소(Repository): Git이 관리하는 코드 저장 공간
로컬 저장소(Local Repository): 내 컴퓨터에 있는 Git 저장소
원격 저장소(Remote Repository): GitHub와 같은 온라인 저장소

Git 설치 후 기본 설정

터미널(명령 프롬프트)에서 아래 명령어로 사용자 정보를 설정한다:

git config --global user.name "사용자 이름" git config --global user.email "이메일 주소"

--global은 시스템 전체에 적용. (생략하면 해당 프로젝트에만 적용)

️ 저장소 초기화

새로운 Git 저장소를 만들고 싶다면:

git init

현재 디렉토리에 .git 폴더가 생성되며, Git으로 관리됨을 의미한다.

Git에서 파일의 4가지 상태

상태설명

Untracked	Git이 아직 추적하지 않는 새 파일
Unmodified	커밋 이후 변경되지 않은 상태
Modified	수정되었지만 스테이지에 올라가지 않은 상태
Staged	커밋을 위해 준비된 상태 (add 완료됨)

현재 파일 상태 확인

git status

파일들의 현재 상태(Untracked, Modified 등)를 확인할 수 있다.

➕ 파일을 Staging에 올리기

git add 파일명 # 특정 파일 추가 
git add . # 현재 디렉토리 내 모든 변경 사항 추가 
git add *.py # 확장자별(.py) 파일만 추가

✅ 변경 이력 저장 (커밋)

git commit -m "커밋 메시지"

현재 staging 상태의 변경 사항을 스냅샷(Snapshot) 으로 저장.

원격 저장소 연결

git remote add origin https://github.com/username/repo.git

# 기존 연결 제거
git remote remove origin

# 현재 연결된 원격 저장소 목록 확인
git remote -v

원격 저장소로 업로드 (Push)

git push origin main
git push https://github.com/username/repo.git main

지정한 브랜치(main)로 업로드.

원격 저장소 클론 (Clone)

git clone https://github.com/username/repo.git

해당 저장소를 내 컴퓨터에 복사하면서 Git 저장소로 초기화.

자주 사용하는 기타 명령어

git log # 커밋 내역 확인 
git diff # 변경된 내용 확인 
git branch # 현재 브랜치 목록 확인 
git checkout -b 새브랜치명 # 새 브랜치 생성 및 이동 
git checkout 브랜치명 # 기존 브랜치로 이동

Git 기본 흐름 요약

git init 또는 git clone 으로 시작
파일 생성 및 수정
git add로 스테이지에 올리기 (중간에 git status, git log 등을 통해 상태를 확인하며 진행)
git commit으로 변경 사항 저장
git push로 원격 저장소에 반영

단어 단위 전처리

bullsoneshot — Wed, 12 Feb 2025 16:27:40 +0900

자연어 전처리란?

데이터를 깔끔하게 전처리 하는건 데이터 분석에서 굉장히 중요한 단계인데요. 자연어 데이터를 사용할 때도 마찬가지입니다. 전처리를 어떻게 하냐에 따라 분석 결과가 크게 달라집니다.

먼저, 자연어 전처리가 필요한 예시를 한번 살펴볼게요.

Oh, Hi helo. Nice to meetyou.

위 문장은 딱 보기에도 좋은 자연어 데이터라고 하기 어렵습니다. 먼저, 맞춤법과 띄어쓰기에 오류가 있네요. 이런 부분들은 올바른 표기로 변경해야 합니다.

Oh, Hi hello. Nice to meet you.

그리고 문장의 의미를 표현하는데 크게 기여하지 않는 단어는 삭제하는게 좋습니다.

~~Oh,~~ Hi hello. Nice to meet you.

Hi와 hello처럼 비슷한 의미가 중첩되어 사용된 경우에도 둘 중 하나를 제거하는 게 좋습니다.

Hi ~~hello~~. Nice to meet you.

다음으로, 분석의 목적에 따라서는 컴퓨터가 자연어를 잘 이해할 수 있도록 하기 위해 각 단어에 숫자 인덱스를 부여하는게 필요하기도 합니다.

{'Hi':0, 'Nice':1, 'to':2, 'meet':3, 'you':4}

이렇게 데이터를 정제해서 분석에 활용하기 좋은 형태로 다듬는 과정을 자연어 전처리라고 합니다.

자연어 전처리 과정들

자연어 전처리에는 다음과 같은 단계들이 있습니다.

토큰화: 자연어 데이터를 분석을 위한 작은 단위(토큰)로 분리합니다.
정제: 분석에 큰 의미가 없는 데이터들을 제거합니다.
정규화: 표현 방법이 다르지만 의미가 같은 단어들을 통합시킵니다.
정수 인코딩: 컴퓨터가 이해하기 쉽도록 자연어 데이터에 정수 인덱스를 부여합니다.

참고로 자연어 전처리 방법에는 정해진 표준이 없습니다. 분석의 목적과 활용할 자연어 데이터의 특성에 따라 적용해야 하는 전처리 단계가 다 다르고, 각 단계를 적용하는 순서에도 차이가 생길 수 있죠. 그리고 원하는 전처리의 결과물이 어떤 형태여야 하는지도 분석하는 상황에 따라 다 다릅니다.

분석에 활용하기 위한 자연어 데이터를 코퍼스(Corpus)라고 합니다. 한국어로는 말뭉치라고 하는데요.

코퍼스를 분석에 활용하려면 먼저 의미있는 작은 단위로 나눠야 합니다. 여기에서 '의미있는 작은 단위'를 토큰(Token)이라고 하고, 하나의 코퍼스를 여러 개의 토큰으로 나누는 과정을 토큰화(Tokenization)라고 합니다.

단어 토큰화 하기

NLTK의 word_tokenize()는 코퍼스를 파라미터로 넘겨서 토큰화 된 단어 리스트를 반환하는 함수입니다. 아래는 사용 예시인데요.

text = "Although it's not a happily-ever-after ending, it is very realistic."

# 단어 토큰화
tokenized_words = word_tokenize(text)

print(tokenized_words)

실행 결과를 보면, it's는 it과 's로 분리됐고, happily-ever-after는 구분 없이 하나의 토큰이 됐습니다. 또, ending 뒤에 있던 콤마는 떨어져서 두 개의 토큰이 되었네요.

단어를 토큰으로 나누기 위한 기준은 다양한데요. 기본적으로 띄어쓰기가 기준이 됩니다. 그리고 문장 기호들도 기준이 될 수 있습니다. 위의 예시를 보니 word_tokenize()는 어퍼스트로피( ' )나 콤마( , )를 토큰화의 기준으로 사용하고 있습니다. 반면, 하이픈( - )은 토큰화의 기준으로 사용하지 않고 있네요.

어떤 기준을 가지고 단어 토큰화를 하는게 더 좋다고 할 수는 없습니다. 분석에 활용하려는 코퍼스의 특성에 따라 적절한 토큰화 기준을 사용하면 됩니다.

정제(Cleaning)

코퍼스에는 아무 의미도 없거나 분석의 목적에 적합하지 않은 단어들도 포함됩니다. 이런 단어들은 전처리 과정에서 제거해야 하는데요. 그 과정을 정제(Cleaning)라고 합니다.

자연어 데이터를 정제하는 방법은 여러가지인데요. 그 중에서도 등장 빈도, 단어 길이, 불용어 등을 기준으로 많이 사용합니다. 하나씩 살펴볼게요.

등장 빈도가 적은 단어

코퍼스에 등장하는 빈도가 너무 적은 단어는 분석에 도움이 되지 않기 때문에 제거해야 합니다.

corpus = TEXT
print(corpus)

굉장히 긴 본문인데요. 해당 본문에서 등장 빈도가 2 이하인 단어들만 찾아 볼게요.

from collections import Counter

# 전체 단어 토큰 리스트
tokenized_words = word_tokenize(corpus)

# 파이썬의 Counter 모듈을 통해 단어의 빈도수 카운트하여 단어 집합 생성
vocab = Counter(tokenized_words)

# 빈도수가 2 이하인 단어 리스트 추출
uncommon_words = [key for key, value in vocab.items() if value <= 2]

# 빈도수가 2 이하인 단어들만 제거한 결과를 따로 저장
cleaned_by_freq = [word for word in tokenized_words if word not in uncommon_words]

한 부분씩 떼서 살펴보겠습니다. 먼저 단어의 빈도 계산에 사용할 Counter() 함수를 불러옵니다.

# Counter모듈 import
from collections import Counter

빈도수 계산을 위해선 먼저 코퍼스를 단어 기준으로 토큰화 해야 하는데요. 앞에서 배운 word_tokenize() 함수로 단어 토큰화할게요.

# 전체 단어 토큰 리스트
tokenized_words = word_tokenize(corpus)

다음으로, 단어의 등장 빈도를 Counter() 함수로 계산합니다. Counter()는 파라미터로 단어 리스트를 받고, 각 단어의 등장 빈도를 딕셔너리({단어: 등장 횟수}) 형태로 반환합니다.

# 파이썬의 Counter 모듈을 통해 단어의 빈도수 카운트하여 단어 집합 생성
vocab = Counter(tokenized_words)

vocab은 다음과 같은 형태로 저장되어 있습니다.

print(vocab)

생성된 단어 집합에서 빈도수가 2 이하인 단어 리스트만 추출하겠습니다. 해당 작업에는 list comprehension 문법을 사용할게요. 해당 문법이 익숙하지 않은 분들은 레슨에 있는 설명을 참고해 주세요.

# 빈도수가 2 이하인 단어 리스트 추출
uncommon_words = [key for key, value in vocab.items() if value <= 2]

등장 빈도가 2 이하인 단어 리스트가 몇 개인지 확인해 볼까요?

print('빈도수가 2 이하인 단어 수:', len(uncommon_words))

총 234개의 단어가 포함되어 있네요. 이제 uncommon_words에 없는 단어들만 cleaned_words에 저장하면 3회 이상 등장한 단어들만 남게 되겠죠?

cleaned_by_freq = [word for word in tokenized_words if word not in uncommon_words]

print('빈도수 3 이상인 토큰 수:', len(cleaned_by_freq))

등장 빈도가 3회 이상인 단어 총 306개가 cleaned_by_freq에 저장되었습니다.

위의 예시에서는 정제를 위한 기준을 등장 빈도 2회 이하로 설정했는데요. 코퍼스의 특징과 분석의 목적에 따라 몇 회 이하 등장하는 단어를 정제할지는 달라집니다. 단어 토큰이 많은 코퍼스라면 빈도수 10 이하인 경우를 제거할 수도 있죠.

정제의 기준이 되는 숫자는 가장 적절한 숫자를 임의로 설정하면 됩니다. 다만, 보통 그런 최적의 정제 기준을 한번에 직관적으로 찾기는 어렵습니다. 그래서 같은 코퍼스를 여러번 전처리해 보고, 가장 좋은 결과가 나올 때의 정제 기준을 활용하는게 일반적입니다.

이렇게 여러번 전처리 과정을 반복해서 가장 결과가 잘 나오는 기준을 찾는 방식은 정제뿐만 아니라 모든 전처리 단계에서 동일하게 적용됩니다. 앞으로는 설명을 위해 임의의 기준을 잡고 전처리를 하지만, 실제 데이터 분석시에는 꼭 여러번 전처리해서 결과를 비교해 봐야 한다는 점 꼭 기억해 주세요.

길이가 짧은 단어

영어 단어의 경우, 알파벳 하나 또는 두개로 구성된 단어는 코퍼스의 의미를 나타내는데 중요하지 않을 가능성이 높습니다. 그래서 이런 단어들은 제거하는 게 좋습니다.

아래는 길이가 2 이하인 단어들을 제거하는 코드입니다. 단어 토큰들을 순회하면서 단어의 길이(len(word))가 2보다 큰 단어들만 cleaned_words에 넣으면 됩니다.

# 길이가 2 이하인 단어 제거
cleaned_by_freq_len = []

for word in cleaned_by_freq:
    if len(word) > 2:
        cleaned_by_freq_len.append(word)

정제 전과 후의 결과를 비교해 보겠습니다.

# 정제 결과 확인
print('정제 전:', cleaned_by_freq[:10])
print('정제 후:', cleaned_by_freq_len[:10])

콤마, I, be 등 큰 의미를 갖지 않는 단어들이 잘 제거되었습니다.

정제 함수 만들기

등장 빈도, 단어 길이 기준의 정제를 이후에 쉽게 사용할 수 있도록 따로 함수로 만들어 두겠습니다. 만들어진 함수는 preprocess.py라는 파일을 하나 따로 만들어서 추가해 두고 이후 레슨에서 필요할 때마다 불러와서 사용할게요.

이후 레슨에서 해당 함수들을 불러와 사용해야 하기 때문에, 실습 중인 주피터 노트북과 같은 디렉토리에 꼭 별도의 Python 파일을 만들어서 아래 함수들을 작성해 주세요.

preprocess.p

from collections import Counter

# 등장 빈도 기준 정제 함수
def clean_by_freq(tokenized_words, cut_off_count):
    # 파이썬의 Counter 모듈을 통해 단어의 빈도수 카운트하여 단어 집합 생성
    vocab = Counter(tokenized_words)
    
    # 빈도수가 cut_off_count 이하인 단어 set 추출
    uncommon_words = {key for key, value in vocab.items() if value <= cut_off_count}
    
    # uncommon_words에 포함되지 않는 단어 리스트 생성
    cleaned_words = [word for word in tokenized_words if word not in uncommon_words]

    return cleaned_words

# 단어 길이 기준 정제 함수
def clean_by_len(tokenized_words, cut_off_length):
    # 길이가 cut_off_length 이하인 단어 제거
    cleaned_by_freq_len = []
    
    for word in tokenized_words:
        if len(word) > cut_off_length:
            cleaned_by_freq_len.append(word)

    return cleaned_by_freq_len

코퍼스에서 큰 의미가 없거나, 분석 목적에서 벗어나는 단어들을 불용어(stopword)라고 합니다. 이런 단어들은 정확한 분석을 방해하기 때문에 제거해야 합니다.

불용어(Stopwords) 정의하기

불용어 제거는 다음과 같은 방식으로 진행됩니다.

불용어를 모아 놓은 불용어 세트 준비
코퍼스의 각 단어 토큰이 불용어 세트에 포함되는지 확인
불용어 세트에 있는 단어 토큰은 분석에서 제외

불용어 제거에 활용되는 불용어 세트는 분석을 하는 사람이 코퍼스의 형태, 분석의 목적을 고려해 미리 만들어야 합니다. 그런데 매번 분석을 할 때만다 불용어 세트를 새롭게 만드는 것은 번거롭겠죠? 분명 코퍼스의 종류에 상관 없이 많이 사용되는 불용어들이 있기 때문에, 그런 것들은 미리 정의해 두고 필요할 때마다 불러와서 사용하면 훨씬 편리할 거 같습니다.

그런 용도로 NLTK는 기본 불용어 목록 179개를 제공합니다. 해당 불용어 목록은 stopwords.words('english')로 접근할 수 있습니다. 한번 확인해 볼게요.

stopwords.words('english')로 받아온 불용어들을 세트 자료형으로 저장해 주겠습니다

from nltk.corpus import stopwords
nltk.download('stopwords')

stopwords_set = set(stopwords.words('english'))

print('불용어 개수 :', len(stopwords_set))
print(stopwords_set)

일반적인 코퍼스에서 많이 사용되지만 분석에 크게 활용되지 않는 단어들이 불용어 세트에 포함되어 있네요.

경우에 따라서는 NLTK에서 기본 제공하는 불용어에 새로운 단어를 추가하거나, 일부 단어를 기본 불용어 목록에서 제거해야 할 수도 있죠. 이런 경우에는 세트 데이터 형식의 add(), remove() 함수를 사용하면 됩니다. 한번 stopwords_set에 원하는 불용어를 추가하고 삭제해 볼게요.

stopwords_set.add('hello')
stopwords_set.remove('the')
stopwords_set.remove('me')

print('불용어 개수 :', len(stopwords_set))
print('불용어 출력 :',stopwords_set)

NLTK에서 받아온 불용어 세트에 hello가 추가되었고, the와 me가 제거되었습니다.

또, NLTK가 기본 제공하는 불용어가 아니라 새로운 불용어 세트를 정의해서 사용할 수도 있습니다.

my_stopwords_set = {'i', 'me', 'my', 'myself', 'we', 'our', 'ours', 'ourselves'}

print(my_stopwords_set)

불용어(Stopwords) 제거하기

등장 빈도와 단어 길이 기준으로 정제했던 cleaned_by_freq_len에서 불용어도 제거해 보겠습니다. cleaned_by_freq_len에 있는 토큰을 하나씩 순회하면서 단어가 불용어 세트에 있는지 확인하고, 없을 때에만 cleaned_words에 저장해 줄게요.

stop_words_set = set(stopwords.words('english'))

# 불용어 제거
cleaned_words = []

for word in cleaned_by_freq_len:
    if word not in stop_words_set:
        cleaned_words.append(word)

불용어 제거 후 남은 토큰이 얼마나 있는지 확인해 볼게요.

# 불용어 제거 결과 확인
print('불용어 제거 전:', len(cleaned_by_freq_len))
print('불용어 제거 후:', len(cleaned_words))

102개의 불용어가 잘 제거됐습니다. 처음 코퍼스에서는 단어가 굉장히 많았는데, 정제 과정을 다 끝내고 나니 67개의 단어만 남았네요.

불용어 처리 함수 만들기

불용어 처리를 위한 코드도 함수로 만들어 두겠습니다. 함수 이름은 clean_by_stopwords()로 하고, 단어 토큰화 된 토큰 리스트와 불용어 세트를 파라미터로 받아 정제된 토큰 리스트를 반환하도록 함수를 만들어 볼게요.

preprocess.py

# 불용어 제거 함수
def clean_by_stopwords(tokenized_words, stop_words_set):
    cleaned_words = []
    
    for word in tokenized_words:
        if word not in stop_words_set:
            cleaned_words.append(word)
            
    return cleaned_words

아래 단어들은 형태가 조금씩 다르지만 의미는 같습니다.

US, USA, U.S., America...

이렇게 형태가 다르지만 같은 의미를 나타내는 단어들이 많아질수록 코퍼스는 복잡해지고 분석이 어려워집니다. 그래서 의미가 같은 단어라면 형태를 하나로 통일하는 게 좋습니다. 해당 과정을 정규화(Normalization)라고 합니다.

정규화에는 여러 방법이 있는데요. 이번 레슨에서는 가장 보편적으로 사용되는 두 가지만 소개해 드릴게요.

정규화 방법: 대소문자 통합

대부분의 프로그래밍 언어는 대소문자를 구분합니다. 그래서 코퍼스를 대문자나 소문자 중 하나로 통일하면 정규화가 됩니다.

영어 문법 상 대문자는 특수한 상황에서만 사용되고, 보통은 소문자가 많이 사용됩니다. 따라서 대문자를 소문자로 바꾸는 게 일반적입니다. 해당 과정에는 파이썬의 문자열 내장함수인 lower()가 사용됩니다.

text = "What can I do for you? Do your homework now."

# 소문자로 변환
print(text.lower())

do와 Do는 원래 형태가 달랐지만, 소문자로 변환하여 완전히 같은 형태가 되었습니다.

정규화 방법: 규칙 기반 정규화

USA, US, U.S.는 형태가 다르지만 의미는 같습니다. 표준어는 아니지만 Umm과 Ummmm도 같은 의미이기 때문에 정규화할 수 있죠. 이런 단어들은 규칙을 정의해서 하나의 표현으로 통합할 수 있습니다.

아래 코드는 US를 USA로, Ummmm을 Umm으로 통합하는 코드입니다.

# 동의어 사전
synonym_dict = {'US':'USA', 'U.S.':'USA', 'Ummm':'Umm', 'Ummmm':'Umm' }
text = "She became a US citizen. Ummmm, I think, maybe and or."
normalized_words = []

# 단어 토큰화
tokenized_words = nltk.word_tokenize(text)

for word in tokenized_words:
    # 동의어 사전에 있는 단어라면, value에 해당하는 값으로 변환
    if word in synonym_dict.keys():
        word = synonym_dict[word]

    normalized_words.append(word)

한 부분씩 살펴볼게요. 먼저, 같은 의미를 가지는 단어들을 어떤 형태로 정규화할지 미리 정해야 합니다. 기준이 정해졌다면 정규화할 단어들을 짝지어 딕셔너리 형태의 동의어 사전을 만들어 줍니다. 그리고, 분석에 활용할 텍스트와 정규화된 단어들을 저장할 리스트 normalized_words도 만들어 줄게요.

# 동의어 사전
synonym_dict = {'US':'USA', 'U.S.':'USA', 'Ummm':'Umm', 'Ummmm':'Umm' }
text = "She became a US citizen. Ummmm, I think, maybe and or."
normalized_words = []

다음으로, 문장을 단어 토큰화한 다음 토큰들을 순회하면서 동의어 사전의 키에 해당 단어가 포함되는지 확인합니다. 만약에 포함된다면 정규화할 단어로 바꿉니다.

# 단어 토큰화
tokenized_words = nltk.word_tokenize(text)

for word in tokenized_words:
    # 동의어 사전에 있는 단어라면, value에 해당하는 값으로 변환
    if word in synonym_dict.keys():
        word = synonym_dict[word]

    normalized_words.append(word)

결과를 확인해 볼게요.

# 결과 확인
print(normalized_words)

US는 USA로, Ummmm은 Umm으로 잘 변경되었네요.

어간 추출이란?

특정한 단어의 핵심이 되는 부분을 어간(Stem)이라고 합니다. 그리고 단어에서 어간을 찾아내는 것을 어간 추출(Stemming)이라고 합니다. 서로 다른 형태의 단어들도 어간 추출을 하면 같은 단어로 통합되기 때문에 이를 정규화 방법 중 하나로 사용합니다.

아래는 어간 추출 알고리즘 중 하나인 포터 스테머 알고리즘(Porter Stemmer Algorithm)의 규칙 일부입니다. 단순히 어미만 잘라내는 방식으로 어간을 찾고 있는데요. 그렇기 때문에 사전에 없는 단어가 결과로 나오기도 합니다.

alize → al (Formalize → Formal)
ational → ate (Relational -> Relate)
ate → 제거 (Activate -> Activ)
ment → 제거 (Encouragement -> Encourage)

예를 들면 Activate에서 ate를 제거해 찾은 어간 activ는 사전에 없는 단어입니다. ate를 제거하고 뒤에 e를 붙여줘야 완전한 단어가 되지만, 그렇게까지 섬세하게 처리해 주지는 못하고 있네요.

따라서 코퍼스의 특성이나 분석하는 상황에 따라 어간 추출을 하는게 적합한지를 잘 판단해야 합니다. 그렇지 않으면 분석에 활용돼야 하는 중요한 단어가 손실될 수 있습니다.

NLTK로 어간 추출 하기

NLTK는 어간 추출을 위한 알고리즘으로 포터 스테머(Porter Stemmer)와 랭커스터 스테머(Lancaster Stemmer)를 제공합니다. 두 알고리즘은 어간 추출을 하는 기준이 미세하게 다르기 때문에 무엇을 사용하느냐에 따라 결과가 조금씩 달라집니다. 하지만 사용 방식은 거의 동일하기 때문에, 이번 레슨에서는 포터 스테머 알고리즘을 사용하는 방법만 자세히 알아 볼게요. 아래는 어간 추출을 위한 코드입니다.

from nltk.stem import PorterStemmer

porter_stemmer = PorterStemmer()
text = "You are so lovely. I am loving you now."
porter_stemmed_words = []

# 단어 토큰화
tokenized_words = nltk.word_tokenize(text)

# 포터 스테머의 어간 추출
for word in tokenized_words:
    stem = porter_stemmer.stem(word)
    porter_stemmed_words.append(stem)

한 부분씩 살펴볼게요. 먼저, 어간 추출을 하기 전에 단어 토큰화가 돼야합니다.

# 단어 토큰화
tokenized_words = nltk.word_tokenize(text)

다음으로, 토큰화 된 단어를 순회하며 어간을 추출하여 결과를 porter_stemmed_words에 추가합니다. 참고로, NLTK의 porter_stemmer.stem() 함수는 단어가 포터 스테머 알고리즘의 기준에 포함되면 추출된 어간을 반환하고, 그렇지 않은 경우에는 원래의 단어를 반환해 줍니다.

# 포터 스테머의 어간 추출
for word in tokenized_words:
    stem = porter_stemmer.stem(word)
    porter_stemmed_words.append(stem)

어간 추출 결과를 한번 확인해 볼게요.

print('어간 추출 전 :', tokenized_words)
print('포터 스테머의 어간 추출 후:', porter_stemmed_words)

lovely와 loving이 love로 어간 추출 되었습니다. 서로 다른 두 개의 단어가 하나의 어간으로 정규화 되었네요.

지금까지 포터 스테머 알고리즘을 이용한 어간 추출 방법을 배웠는데요. 랭커스터 스테머 알고리즘은 동일한 코드에 적용하는 함수만 바꾸면 됩니다.

from nltk.stem import LancasterStemmer

lancaster_stemmer = LancasterStemmer()
text = "You are so lovely. I am loving you now."
lancaster_stemmed_words = []

# 랭커스터 스테머의 어간 추출
for word in tokenized_words:
    stem = lancaster_stemmer.stem(word)
    lancaster_stemmed_words.append(stem)

랭커스터 스테머 알고리즘을 사용하면 결과가 조금 다르게 나오는데요. 꼭 각각의 알고리즘을 적용해 보고 차이를 비교해 보시기 바랍니다.

그러면 어간 추출을 하는 코드도 하나의 함수로 만들어볼게요.

preprocess.py

from nltk.stem import PorterStemmer

# 포터 스테머 어간 추출 함수
def stemming_by_porter(tokenized_words):
    porter_stemmer = PorterStemmer()
    porter_stemmed_words = []

    for word in tokenized_words:
        stem = porter_stemmer.stem(word)
        porter_stemmed_words.append(stem)

    return porter_stemmed_words

실습 준비하기

실습에는 IMDb 영화 리뷰 데이터를 사용하겠습니다. IMDb는 The Internet Movie Database의 약자로, 약 200만개 이상의 영화 관련 정보들이 저장되어 있는 데이터 베이스입니다.

tsv(Tab-separated values)는 데이터를 탭 기준으로 구분한 파일 형식입니다. 그동안 많이 사용했던 csv(Comma-separated values)는 콤마로 데이터를 구분했었죠? 하지만 자연어 데이터에는 콤마가 들어있는 경우가 많기 때문에 csv를 데이터 구분의 기준으로 사용하면 코퍼스의 형태가 망가질 수 있습니다. 그래서 자연어 데이터를 저장할 때에는 tsv 형식을 많이 사용합니다.

tsv 파일을 불러올 때에도 동일하게 read_csv() 함수를 사용합니다. 대신, delimiter 속성을 '\t'로 지정해야 합니다.

import pandas as pd

df = pd.read_csv('imdb.tsv', delimiter='\\t')

데이터의 형태는 다음과 같습니다.

df

실무에서는 자연어 데이터를 보통 Pandas 데이터 프레임 형태로 처리합니다. 본 레슨에서도 실무 상황과 동일하게 Pandas 데이터 프레임의 각 로우에 코퍼스들을 저장하고 실습을 진행하겠습니다.

대소문자 통합

가장 먼저 정규화를 위해 코퍼스의 대소문자를 통합해 주겠습니다. 앞선 정규화 레슨에서 대소문자 통합은 보통 대문자를 소문자로 바꾼다고 했었죠? 해당 과정을 진행해 보겠습니다.

df['review'] = df['review'].str.lower()

df['review']는 Pandas 시리즈 형식의 데이터인데요. 해당 데이터 형식으로 저장되어 있는 문자열들을 소문자로 변환하려면 str.lower() 를 사용하면 됩니다.

소문자로 정규화가 잘 됐는지 확인해 보겠습니다.

print(df['review'][0])

모든 단어가 소문자로 잘 정규화 됐습니다.

단어 토큰화

다음으로 전체 코퍼스를 단어로 토큰화해 보겠습니다. df['review']에 있는 모든 로우에 word_tokenize() 함수를 적용하면 되는데요. apply() 함수를 사용하면 그 작업을 쉽게 처리할 수 있습니다. apply()는 파라미터로 함수 이름을 전달하여 데이터 프레임 전체에 동일한 함수를 적용시켜 줍니다. 사용 방법은 아래와 같습니다.

df['word_tokens'] = df['review'].apply(word_tokenize)

단어 토큰화가 잘 됐는지 확인해 볼게요.

print(df['word_tokens'][0])

토큰화가 잘 됐습니다.

데이터 정제

데이터 정제 방법으로는 등장 빈도, 단어 길이, 불용어 세트를 사용하는 방법을 배웠었죠? 해당 내용들을 모두 활용해 볼게요. 각 코퍼스별로 등장 빈도가 1회 이하, 단어의 길이가 2 이하, 그리고 NLTK에서 기본 제공하는 불용어에 해당하는 단어들을 정제해 보겠습니다.

해당 과정은 preprocess.py 파일에 만들어 둔 함수 clean_by_freq(), clean_by_len(), clean_by_stopwords()를 사용하면 쉽게 처리할 수 있는데요. 불러오기 전에 꼭 아래 코드를 먼저 실행해야 합니다.

%load_ext autoreload
%autoreload 2

ipynb 파일에서 직접 만든 파이썬 모듈(.py)을 불러와 사용할 때, 파이썬 모듈 파일이 중간에 수정되면 해당 내용이 자동으로 반영되지 않는 문제가 있습니다. 그래서, preprocess.py 파일을 수정할 때마다 주피터 노트북의 커널을 Restart해야 하는 번거로움이 있는데요. 그런 번거로움을 줄이기 위해 위의 코드를 먼저 실행해야 합니다. 관련된 자세한 사항은 튜토리얼 레슨을 참고해 주세요.

그러면 불러온 함수들을 df['word_tokens']에 apply()로 적용해 볼게요.

# .py 모듈 수정 시 자동 리로드
%load_ext autoreload
%autoreload 2

from preprocess import clean_by_freq
from preprocess import clean_by_len
from preprocess import clean_by_stopwords

stopwords_set = set(stopwords.words('english'))

df['cleaned_tokens'] = df['word_tokens'].apply(lambda x: clean_by_freq(x, 1))
df['cleaned_tokens'] = df['cleaned_tokens'].apply(lambda x: clean_by_len(x, 2))
df['cleaned_tokens'] = df['cleaned_tokens'].apply(lambda x: clean_by_stopwords(x, stopwords_set))

만들어 둔 함수들을 데이터 프레임에 적용할 때 처음 보는 표현 방식이 사용됐는데요. lambda 파라미터: 표현식 형태로 사용된 이 부분을 람다 함수라고 부릅니다.

예를 들어 아래와 같이 파라미터로 받은 두 숫자를 더하는 함수가 있다고 가정해 볼게요.

def plus(a, b):
    return a+b

해당 함수는 람다 함수로 아래와 같이 표현할 수 있습니다.

lambda x, y: x + y

여러 줄로 작성해야 하는 함수의 내용을 람다 함수를 사용하면 한 줄로 간단하게 함수를 표현할 수 있습니다.

위에서 사용된 예시로도 생각해 볼게요. 아래의 람다 함수는 clean_by_freq() 함수를 실행해 주는 하나의 함수입니다. 매개변수 x에 데이터프레임의 각 행에 있는 데이터가 들어와서 clean_by_freq(x, 1)을 실행한 결과를 리턴하는 함수인거죠.

lambda x: clean_by_freq(x ,1)

apply()는 파라미터로 적용할 함수 이름 하나만 넣을 수 있기 때문에 clean_by_freq()처럼 두 개 이상의 파라미터가 필요한 함수를 써야 할 때에는 해당 함수를 실행하는 또 다른 함수를 람다식 형태로 만들어서 사용할 수 있습니다.

적용한 결과도 한번 확인해 보겠습니다.

print(df['cleaned_tokens'][0])

길이, 빈도, 불용어 기준으로 잘 정제됐습니다. 실제로 분석에 중요하게 사용될 단어들만 남았네요.

어간 추출

마지막으로 어간 추출을 이용해 정규화해 보겠습니다. 어간 추출 레슨에서 만들었던 stemming_by_porter() 함수를 df['cleaned_tokens']에 적용해 볼게요.

from preprocess import stemming_by_porter

df['stemmed_tokens'] = df['cleaned_tokens'].apply(stemming_by_porter)

결과도 확인해 보겠습니다.

print(df['stemmed_tokens'][0])

이전 레슨에서 어간 추출의 결과로는 사전에 없는 단어가 나올 수 있으니 사용할 때 주의해야 한다고 했었죠? 이 경우에도 'realli', 'movi' 처럼 잘못된 단어가 결과로 나오네요. 이렇게 잘못된 단어가 나올수도 있기 때문에, 어간 추출이 해당 코퍼스를 이용한 분석에 도움이 될지 잘 판단해서 사용해야 합니다. 이점 꼭 기억해 주세요.

자연어 처리란?

bullsoneshot — Wed, 12 Feb 2025 16:23:55 +0900

자연어 처리란?

언어는 크게 인공어와 자연어로 나눌 수 있습니다.

인공어는 정보 전달을 위해 인위적으로 만들어진 언어입니다. 대표적으로 사람과 컴퓨터의 소통을 위해 만들어진 프로그래밍 언어가 있습니다. 반대로 사람들의 일상 생활에서 자연 발생된 언어를 자연어라고 합니다. 한국어, 영어, 중국어 등 사람들이 일상에서 사용하는 모든 언어는 자연어에 속합니다.

자연어에는 다양한 정보들이 담겨있습니다. 그래서 잘 활용하면 재밌는 분석을 할 수 있는데요. 하지만 컴퓨터가 자연어의 의미를 제대로 파악하도록 하는건 쉽지 않습니다. 컴퓨터는 인공어로만 소통하기 때문에 자연어를 다루려면 별도의 처리 과정이 필요하죠.

그 과정을 자연어 처리(NLP; Natural Language Processing)라고 합니다. 자연어 데이터를 컴퓨터가 처리할 수 있는 형태로 가공하여 의미 있는 분석을 하는 모든 과정이 자연어 처리입니다.

자연어 처리의 하위 분야에는 자연어 이해(NLU; Natural Language Understanding)와 자연어 생성(NLG; Natural Language Generation)이 있는데요. 이름 그대로 자연어의 의미를 이해하고, 새로운 자연어를 생성하기 위한 기술들이 포함됩니다.

자연어가 가진 감정을 파악하는 감성분석, 스팸메일을 분류하는 스팸 필터링은 자연어 이해 기술이 적용되고, 시나 신문 기사 등을 작성하는 인공지능에는 자연어 생성 기술이 적용되죠. 문서 자동 번역기나 인공지능 챗봇에는 자연어 이해와 생성 분야의 기술이 모두 적용됩니다. 이외에도 자연어 처리를 활용해 여러 어려운 문제들을 해결할 수 있습니다.

자연어 처리를 하는 방법

자연어를 처리하는 방식에는 크게 규칙 기반 접근법(Rule Based Approach)과 통계 기반 접근법(Statistical Based Approach)이 있습니다.

규칙 기반 접근법(Rule Based Approach)

정해진 규칙을 통해 자연어를 처리하는 것을 규칙 기반 접근법이라고 합니다. 예를 들어볼게요.

100일, 100미터, 100원

위의 표현들에는 앞에 숫자가 오고 뒤에 문자가 온다는 규칙성이 있습니다. 이 규칙성을 토대로 숫자 뒤에 '일'이 나오면 날짜, '미터'가 나오면 거리, '원'이 나오면 돈과 관련된 의미를 가진다는걸 알 수 있습니다.

규칙 기반 접근법은 일정한 패턴을 가지는 자연어에 대해서 안정적으로 좋은 성능을 낼 수 있기 때문에 실제 상용 서비스에서도 많이 활용되고 있습니다.

통계 기반 접근법(Statistical Based Approach)

하지만 자연어에는 일정한 규칙이 없는 경우도 많은데요. 이럴 땐 통계 기반 접근법을 사용할 수 있습니다.

예를 들어, 문서에서 가장 중요한 키워드가 무엇인지 찾고 싶은 상황이라 해 볼게요. 수많은 단어들 중 가장 중요한 단어는 어떻게 찾을 수 있을까요? 아마도 자주 등장하는 단어가 핵심 키워드일 가능성이 높겠죠? 또 다른 문서들에서는 잘 사용되지 않는데 유독 그 문서에서만 많이 사용된다면 해당 문서의 중요한 키워드일 것입니다. 이렇게 특정 단어의 출현 빈도를 통해 자연어의 중요도를 파악하는 것은 대표적인 통계 기반 접근법입니다.

그리고 머신러닝, 딥러닝을 활용한 자연어 처리 기법도 통계 기반 접근법입니다. 일관된 패턴을 파악하기 어려운 자연어에서도 유의미한 정보를 찾을 수 있기 때문에 많은 관심을 받고 있습니다.

컴퓨터가 자연어 데이터를 처리하도록 하는 건 쉽지 않은데요. 자연어가 가진 몇 가지 특성 때문에 그렇습니다. 본격적인 학습 전에 자연어 처리에 어떤 어려움이 있는지 간단하게 살펴볼게요.

같은 자연어가 두 개 이상의 의미를 가지는 경우

아래와 같이 형태가 같더라도 여러 의미를 가지는 단어가 있습니다.

She had the lead in a new film.
She found lead.

위 문장에서 공통으로 사용된 단어 lead는 '이끈다'와 '납'이라는 두 가지 의미를 가지는데요. 어떤 문장에서 어떤 의미로 사용되었는지가 표면적으로 나타나지 않기 때문에 문장의 정확한 의미를 모호하게 만듭니다. 만약에 lead를 이끈다라는 의미로만 알고 있다면 납이라는 뜻으로 사용된 문장의 의미는 제대로 해석하기 어렵겠죠?

또, 같은 문장이 여러 의미를 가지는 경우도 있습니다.

너는 웃으며 걸어가는 나에게 인사했다.

위 문장은 아래와 같이 두 가지 의미로 해석됩니다.

너는 웃으며 걸어가는 나에게 인사했다.
너는 웃으며 걸어가는 나에게 인사했다.

이렇게 중의적인 문장의 의미를 파악하는 건 사람에게도 쉽지 않은데요. 마찬가지로 컴퓨터도 중의적인 문장에 굉장히 취약합니다.

다른 자연어가 같은 의미를 가지는 경우

자연어의 표기가 전혀 다르지만 같은 의미를 가지는 경우가 있습니다. 비슷한 의미의 단어가 많고, 문장의 표현 형식이 다양한 언어일수록 이런 경우가 많이 발생합니다.

예를 들어, 아래 두 문장은 표현 방식이 다르지만 의미는 같습니다.

비행기가 1시에 떠날 예정입니다.
비행기 출발 시간은 1시입니다.

이렇게 동일한 의미를 다양한 방식으로 표현하는 걸 패러프레이징(Paraphrasing)이라고 합니다. 그리고 패러프레이징 된 두 문장의 의미가 같다는 것을 컴퓨터에게 이해시키는 건 굉장히 어렵습니다.

단어 간의 관계성

파랑과 빨강 중 분홍과 더 유사한 단어는 무엇일까요? 단어의 의미를 알고 있는 사람이라면 '빨강'이라고 쉽게 답할 수 있을 텐데요. 하지만 컴퓨터로는 이 작업을 처리하는 게 어렵습니다.

단어 간에는 의미를 기준으로 유사하거나, 다르거나, 포함되는 등 특정한 관계가 형성됩니다. 그리고, 그런 단어 사이의 관계를 잘 파악해야만 자연어의 의미를 제대로 해석할 수 있습니다.

하지만 컴퓨터는 자연어의 의미를 직관적으로 받아들일 수 없습니다. 때문에 단어 간의 관계 정보를 컴퓨터가 파악하도록 하려면 복잡한 과정이 필요합니다.

한국어 자연어 처리가 더 어려운 이유

특히 한국어는 다른 언어보다 자연어 처리가 더 어려운데요. 위에서 설명한 이유 외에도 한국어가 가지는 고유한 특성들 때문에 그렇습니다.

접사와 조사 처리

한국어는 교착어입니다. 교착어란 어근에 붙는 접사에 따라 의미가 변하는 언어를 뜻하는데요. 예를 들어, '잡히시었겠더라'라는 예문은 어근에 붙는 접사에 따라 다양한 의미가 추가된 경우에 해당합니다.

잡-: 어근
히-: 피동을 의미하는 접사
시-: 주체 높임을 의미하는 접사
었-: 과거 시제를 의미하는 접사
겠-: 추측을 의미하는 접사
더라: 전달을 의미하는 접사

또 어떤 조사가 붙냐에 따라서도 의미가 달라집니다. 예를 들어 '너가' '너를' '너의' 등은 '너' 뒤에 어떤 조사가 붙느냐에 따라 다른 의미를 갖게 됩니다.

보통 자연어 처리를 하려면 어떠한 단어의 어근을 찾아서 사용하는 게 일반적입니다. 하지만 한국어는 어근에 붙는 접사와 조사의 종류가 다양하며 의미 차이에 큰 영향을 주기 때문에 컴퓨터로 깔끔하게 처리하기가 어렵습니다.

유연한 어순

한국어의 어순은 굉장히 유연합니다. 예를 들어 아래 세 문장은 모두 동일한 의미를 가지는데요.

나는 공부하러 간다.
공부하러 나는 간다.
나는 간다, 공부하러.

심지어 주어를 생략하고 '공부하러 간다'라고만 해도 의미는 같습니다. 이렇게 유연한 어순 때문에 컴퓨터가 다음에 출현할 단어를 예측하는 게 어렵습니다.

잘 지켜지지 않는 띄어쓰기

한국어는 띄어쓰기를 철저하게 지키지 않아도 문장의 의미를 이해할 수 있습니다. 아래 문장도 띄어쓰기는 안돼있지만 무슨 의미인지는 알 수 있죠?

나는오늘코드잇강의를들었다.

하지만, 경우에 따라서는 띄어쓰기가 구분되지 않아 의미가 모호해지는 경우가 있습니다.

아버지가방에들어가신다

위 문장은 '아버지가 방에 들어가신다'라는 의미일 텐데요. 만약 띄어쓰기가 잘못되면 '아버지 가방에 들어가신다'라는 이상한 문장이 되어 버립니다.

그래서 한국어 자연어 데이터를 처리할 때에는 정확한 띄어쓰기가 되도록 먼저 처리해야 합니다. 그런데 컴퓨터가 문장의 띄어쓰기를 잘 처리하도록 하는 건 어려운 일입니다.

한국어가 영어보다 다루기도 어렵고, 관련 자료나 도구도 주로 영어로 발전했습니다. 그래서 처음 자연어 처리를 배울 때에는 영어 텍스트를 다루는 게 조금 더 수월합니다.

[프로그래머스] 조회수가 가장 많은 중고거래 게시판의 첨부파일 조회하기- 164671

bullsoneshot — Wed, 29 Jan 2025 18:47:59 +0900

[MySQL] 조회수가 가장 많은 중고거래 게시판의 첨부파일 조회하기

문제 링크

https://school.programmers.co.kr/learn/courses/30/lessons/164671

프로그래머스

SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프

programmers.co.kr

문제 설명

다음은 중고거래 게시판 정보를 담은 USED_GOODS_BOARD 테이블과 중고거래 게시판 첨부파일 정보를 담은 USED_GOODS_FILE 테이블입니다. USED_GOODS_BOARD 테이블은 다음과 같으며 BOARD_ID, WRITER_ID, TITLE, CONTENTS, PRICE, CREATED_DATE, STATUS, VIEWS은 게시글 ID, 작성자 ID, 게시글 제목, 게시글 내용, 가격, 작성일, 거래상태, 조회수를 의미합니다.

USED_GOODS_FILE 테이블은 다음과 같으며 FILE_ID, FILE_EXT, FILE_NAME, BOARD_ID는 각각 파일 ID, 파일 확장자, 파일 이름, 게시글 ID를 의미합니다.

문제

USED_GOODS_BOARD와 USED_GOODS_FILE 테이블에서 조회수가 가장 높은 중고거래 게시물에 대한 첨부파일 경로를 조회하는 SQL문을 작성해주세요. 첨부파일 경로는 FILE ID를 기준으로 내림차순 정렬해주세요. 기본적인 파일경로는 /home/grep/src/ 이며, 게시글 ID를 기준으로 디렉토리가 구분되고, 파일이름은 파일 ID, 파일 이름, 파일 확장자로 구성되도록 출력해주세요. 조회수가 가장 높은 게시물은 하나만 존재합니다.

예시

오답 풀이

SELECT CONCAT('/home/grep/src/', B.BOARD_ID, '/', F.FILE_ID, '_', F.FILE_NAME, F.FILE_EXT) AS FILE_PATH
FROM USED_GOODS_BOARD AS B JOIN USED_GOODS_FILE AS F ON B.BOARD_ID = F.BOARD_ID
WHERE B.BOARD_ID = (
    SELECT BOARD_ID
    FROM USED_GOODS_BOARD
    ORDER BY VIEWS DESC
    LIMIT 1
);

[잘못된 점]

문제점 1: 서브쿼리에서 VIEWS 컬럼이 NULL일 경우 오류 발생 가능

'ORDER BY VIEWS DESC LIMIT 1'을 사용할 때 모든 행의 VIEWS가 NULL인 경우 오류가 발생할 수 있음
'WHERE VIEWS IS NOT NULL'을 추가하여 VIEWS가 NULL이 아닌 데이터만 정렬하도록 설정.

문제점 2: 서브쿼리 LIMIT 1이 여러 개의 동률이 있는 경우 예측 불가한 결과 반환

'ORDER BY VIEWS DESC LIMIT 1'을 사용할 때, 만약 VIEWS 값이 가장 높은 행이 여러 개일 경우 어떤 BOARD_ID가 선택될지 예측하기 어려움. (하단 예시)

BOARD_ID  |  VIEWS
----------|-------
B0001     |  250
B0003     |  250
# 이 경우, B0001이 선택될지 B0003이 선택될지 보장되지 않음.

ORDER BY 기준을 추가하여 BOARD_ID 기준으로도 정렬하면 일관된 결과를 얻을 수 있음.

정답 코드

SELECT CONCAT('/home/grep/src/',BOARD_ID,'/', FILE_ID, FILE_NAME, FILE_EXT) FILE_PATH
FROM USED_GOODS_FILE 
WHERE BOARD_ID = (
    SELECT BOARD_ID
    FROM USED_GOODS_BOARD 
    ORDER BY VIEWS DESC LIMIT 1
)
ORDER BY FILE_ID DESC;

두 번째 SELECT 문을 제거 (불필요한 중복 제거)

여러 개의 SELECT 문을 실행하려면 각 SQL 문을 명확히 구분해야 합니다.
첫 번째 쿼리는 정상적으로 실행되지만, 두 번째 쿼리는 불필요하게 반복되면서 실행 환경에 따라 오류가 발생할 가능성이 있음