📚 전체글178 트랜스포머 레시피 [1/3] - 재료 준비: 텍스트를 숫자로 변환하기 안녕하세요, 쿠킴입니다. 트랜스포머를 이해하기 위해 정리한 내용을 공유합니다. (사용된 코드 전체 colab notebook) 목차1. 들어가며1.1. 트랜스포머의 전체 아키텍처1.2. 텍스트를 숫자로 바꾸기2. Source sequence: 텍스트 정규화와 토큰화2.1. 텍스트 정규화: 일관성 있는 텍스트 만들기2.2. 토큰화와 ID 변환2.3. 특수 토큰과 전처리2.4. 토큰화 + ID 변환 활용3. Embeddings Projections: 임베딩3.0. 기본 개념: 벡터, 임베딩, 유사도3.1. 전통적 방법 - 희소 벡터(Sparse Vector)3.2. 딥러닝 기반 임베딩 - 밀집 벡터(Dense Vector)4. Positional Encoding: 위치 인코딩4.1. 위치 인코딩의 필요성4... 2025. 1. 26. 실시간 데이터 처리 [1/3] - 배치 그리고 스트림 "매일 수많은 데이터가 실시간으로 발생합니다. 사용자의 클릭, 주문, 검색, 장바구니 담기까지... 이런 데이터들을 어떻게 활용할 수 있을까요?" 커머스 서비스에서는 끊임없이 데이터가 생성됩니다. 특히 추천 시스템을 개발하다 보면 이런 고민이 자주 듭니다."방금 인기가 급상승한 상품을 바로 추천에 반영할 순 없을까?""새로운 상품의 성과를 실시간으로 확인하고 싶은데...""프로모션 효과를 보면서 바로 전략을 수정하고 싶어요" 전통적인 배치 처리 방식은 여전히 중요하고 유용합니다. 특히 복잡한 머신러닝 모델 학습이나 대규모 데이터 분석같이 무거운 계산이 필요한 경우에는 배치 처리가 효율적인 선택이죠. 하지만 실시간성이 중요한 요구사항들이 늘어나면서 한계도 분명해졌습니다. 배치 주기를 줄여서 (예: 하루 한.. 2025. 1. 19. 일상 업그레이드 - 맥(macOS) 세팅 끝장내기(2024/12, M4, macOS Sequoia) (업데이트 날짜: 2024/12/18) 맥북 설정 방법을 정리합니다. 새로운 macOS 환경에서 시작하고 싶으신 분들께 도움이 되길 바랍니다. 목차 1. 사용하는 애플리케이션 2. 맥 기본 설정 2.1. 키보드 설정 2.1.1. 키보드 입력 속도 변경 2.1.2. 자동 변경 제거 2.1.3. 한글 백틱(`) 설정 2.1.4. 악센트 입력 옵션 끄기 2.1.5. 한영 변환 빠르게하기 2.2. 트랙패드 설정 2.2.1. 가벼운 탭으로 클릭 2.2.2. 세 손가락 드래그 2.3. 파인더 설정 2.3.1. 파일 확장자 보기 2.3.2. 폴더 정렬 설정 2.3.3. 사이드바 조정 2.3.4. 기본 시작 폴더 2.3.5. 스마트 폴더 2.. 2024. 12. 15. MAB 알고리즘 [2/2] - MAB와 Thompson Sampling의 아키텍처 및 실전 구현 (w. Kotlin) "서비스에서 MAB 알고리즘을 사용하기 위해 시스템은 어떻게 구축하고, Thompson Sampling은 어떻게 구현/운영할까?" 지난 글(MAB 알고리즘 [1/2] - A/B 테스트의 한계, MAB 알고리즘과 Thompson Sampling 이해하기)에서 A/B 테스트의 한계와 이를 보완하기 위한 MAB 알고리즘, 특히 Thompson Sampling의 개념에 대해 알아보았습니다. 하지만 실제 서비스에 적용하기 위해서는 개념 이해를 넘어 전체적인 시스템 설계와 운영 방안이 필요합니다. MAB 알고리즘을 서비스에 적용하기 위해서는- 실시간으로 사용자 행동을 수집하고- 수집된 데이터를 적절히 처리하여- 빠른 응답 시간 내에 추천 결과를 제공해야 합니다 이러한 실시간 데이터 수집/처리 시스템은 A/B 테스트.. 2024. 10. 28. MAB 알고리즘 [1/2] - A/B 테스트의 한계, MAB 알고리즘과 Thompson Sampling 이해하기 "메인 페이지의 추천 영역, 어떤 상품을 보여줄까? A/B 테스트만으로는 부족하다?" A/B 테스트는 디지털 서비스에서 가장 널리 사용되는 실험 방법입니다. 하지만 테스트 기간이 길고, 기회비용이 발생하며, 실시간 최적화가 어렵다는 한계가 있죠. 이런 문제를 해결하기 위해 MAB(Multi-Armed Bandit) 알고리즘이 등장했습니다. 이 글에서는 A/B 테스트의 한계점부터 MAB 알고리즘, 특히 Thompson Sampling의 동작 원리까지 상세히 알아보겠습니다. 목차1. A/B 테스트의 이해 - A/B 테스트란 무엇인가 - 구현 방식 - 실제 적용 시 마주치는 어려움들 2. MAB(Multi-Armed Bandit)의 이해 - MAB의 개념과 배경 - 핵심 개념: 탐색과 활용 .. 2024. 10. 26. 이전 1 2 3 4 ··· 36 다음
