본문 바로가기

전체55

데이터 메시 (2023.12.18) 앞으로의 데이터 아키텍처가 어떤지 알 수 있다. 책은 '다프'라는 가상의 음악 스트리밍 회사를 가정한다. 가상의 회사를 기반으로 데이터 메시를 활용한 경우와 아닌 경우를 실례로 비교해서 설명해준다. 따라가기 쉽고 어떤 구조로 회사에서 데이터 팀을 운영하면 좋을지 힌트를 얻을 수 있다. 실제로 중앙집권적인 데이터 팀 구성의 경우 책에 나온 것처럼 새롭게 만들어야 ETL이나 데이터의 최신성 문제 등이 현장에서 문제가 될 것이다. 각 팀이 해야 되는 업무가 도메인 중심이 아니라 역할 중심으로 짜여져 있다보니 실제 데이터를 주무를 때 도메인이 깊게 들어가는 영역(아마 대부분이 이러지 싶다)을 맞닥뜨리면 이것저것을 하느라 업무가 늘어지는 경향이 있다. 하지만 초기 데이터 팀을 구성할 때 겪어야 할 시행착오라고 생.. 2024. 1. 7.
알고리즘 인사이드 with 파이썬(2023.10.19) 책은 파이썬 기본문법의 핵심을 먼저 다룬 뒤, 기본 자료구조와 알고리즘을 복습하고, 각 알고리즘별 문제를 풀어보는 구성이다. 알고리즘 문제 파트는 2개로 되어 있는데 첫번째 파트가 재귀, 탐색 등 좀 더 자주 나오는 분야로 구성되어 있고 두번째 파트가 트리나 동적계획법 등 좀 덜 나오는 분야로 되어 있다. 관련한 리트코드도 기재되어 있어 참고할 수 있다. chapter 1 : 파이썬 기본 문법 -데이터 타입 : numeric(int, float, complex), sequence(list, tuple, range), set, map(dict), text(str), misc(bool, bytes, none) 각 데이터 타입으로 할 수 있는 특정 작업이 있으니 점검해보는 것도 나쁘지 않겠다. 숫자형 : 0b.. 2023. 11. 26.
만들면서 배우는 생성 AI (2023.09.15) 원래 1판이 있었던 모양인데 2판을 찍으면서 꽤 많은 부분이 업데이트 된 모양이다. 그도 그럴 게 요즘 GPT, stable diffusion 등 바야흐로 딥러닝이 실생활에 응용되는 터라.. 달라진 점은 다음과 같다. 1. 최신 생성 모델 추가 : 자기회귀 모델, 노멀라이징 플로 모델, 에너지 기반 모델, 확산 모델 2. 트랜스포머 내용 확대 : 어텐션, 멀티헤드 어텐션, 코잘 마스킹, 위치 인코딩, 인코더-디코더 구조 3. 다양한 GAN 구조 소개 : ProGAN, StyleGAN/StyleGAN2, SAGAN, BIGGAN, VQ-GAN/Vit VQ-GAN 4. 멀티모달 모델 추가 : DALL-E2, Imagen, 스테이블 디퓨전, 플라밍고 책은 꽤 자세하게 생성 딥러닝에 대해서 소개한다. 즉 이론적.. 2023. 10. 29.
개발자의 하루를 바꾸는 코파일럿 & 챗GPT (2023.09.11) OpenAI의 ChatGPT에 대한 관심이 뜨겁다. 확실히 생성형AI가 나오기 이전보다는 기계가 인간의 언어를 처리하는 수준이 획기적으로 올라간 건 맞는 것으로 보인다. 이전까지 인간과 직접적으로 맞닿는 기계지능이라고 해봤자 Siri에게 전화걸어줘 수준이나 구글홈으로 집 안의 IoT를 조절하는 수준이었다면 이젠 확실히 루틴하게 반복해야 되는 소모적인 초벌구이 수준까지는 생성형AI의 도움을 받을 수 있다. PDF만 하더라도 ChatPDF에 던져주면 알아서 긴 논문을 요약해주는 형태니.. 긴 글 혹은 긴 영상 등 내가 직접적으로 확인하기는 귀찮지만 기계가 0과 1로 자료를 인덱싱하여 자연어로 재구조화하는 방법으로 대략적 내용을 확인하고 싶다면 매우 큰 삶의 질 향상을 느낄 수 있겠다. 당장 나만 해도 출퇴근.. 2023. 9. 24.