티스토리

푸른 하늘

검색하기

블로그 홈

푸른 하늘

happysky12.tistory.com/m

이런저런 이야기를 적어둡니다.

구독자: 0

방명록 방문하기

주요 글 목록

PyTorch Geometric(PyG) - Cora EDA & mini-batch testing(with NeighborLoader) PreliminariesNeighborLoader 포스팅 지난번 포스팅에서 PyG의 mini-batch training을 위한 방법 중 하나인 NeighborLoader를 간략하게 살펴보았다. 이번엔 NeighborLoader와 간단한 dataset을 활용하여이 neighbor sampling (또는 node-wise sampling)의 특징(?)을 알기 위해 간단하게 진행했던 실험에 대해 정리하고자 한다. 작성 편의상 sampling을 수행하는 기준 node, 즉 sampling을 수행하였을 때 최 상단에 위치하게 되는(기준이 되는) node를 anchor node로 작성하였다. Cora dataset & EDA여러 초장기 GNN paper에 자주 등장한 dataset이다. PyG에선 torch_g.. 공감수 0 댓글수 1 2025. 2. 17.
Anaconda 및 CUDA 삭제 & 재설치 강행 18년 전역 당시, 데이터 사이언스 공부를 혼자 시작해보며 설치했던 anaconda 와 여러 패키지들. 연구실에 다니던 시절, 아직 원격 접속을 세팅하지 않았을 때,집에서라도 조금씩 해둘걸 해두자 라는 마음에 연구실과 비슷한 환경으로 다시 설치를 하고자 했었다. 하지만 연구실에서 사용하던 데스크탑과 (현재까지도 사용 중인) 집 데스크탑의 HW 차이는 조..금 많이 심했다. 연구실에선 아마 기억상 3060ti?를 사용중이었는데, 집 데스크탑은 1060 3GB... 당시엔 그래서 환경을 따로 만들어 pytorch_cpu를 설치해서 하다가 도저히 참을수가 없어서 빠르게 원격 세팅을 마쳤던 기억이 난다🤣 이미 졸업을 하기도 했고, colab은 뭔가 불편했던 기억이 많이 남아있기에그냥 마음편히 집의 데스크탑을 .. 공감수 2 댓글수 0 2025. 1. 8.
24년을 되돌아보며.... 어느덧 24년이 끝나간다. 작년 이맘때 즈음 논문 심사도 마치고, 기말시험을 보고, 부산 벡스코에서 개최된 학술대회에서 발표를 하고... 24년 전체를 돌아보면 학업이나 커리어 쪽으로는 별다른 점은 없지만, 수 많은 추억을 만들 수 있었던 한 해 였던 것 같다. 촬영했던 사진들을 돌아보며 기억에 남을만 한 이벤트(?) 같은 것들을 기록으로 남겨보고자 한다. 1월공식적으로 연구실 출근 X. 이때를 이후로 거의 1주일에 3번은 오락실에 다녔는 듯 하다.후배가 아이패드를 구매하면서 이전에 사용하던 샤오미 패드를 프로세카를 보다 쾌적하게 플레이하기 위해 싼 값에 넘겨받아 왔다. 동아리 친구&후배들과 잠깐 메이플랜드(클래식 메이플스토리)를 플레이.친구가 스피어맨, 후배1은 썬콜, 후배2는 불독, 나는 클레릭.. 공감수 7 댓글수 3 2024. 12. 30.
PyTorch Geometric(PyG) - NeighborLoader PreliminariesPyG의 NeighborLoader 공식 docs참고가 될 만한 포스팅 (중국어로 작성되어있어, 영어로 번역하여 보는 것을 추천) 지난번 포스팅을 통해 널리 알려진 GNN 라이브러리 중 하나인 PyTorch Geometric (이하 PyG)에 대해 간략하게나마 정리하였다. (링크) 본 포스팅에서는 PyG 활용 시 mini-batch training을 위한 대표적인 method 중 하나인 NeighborLoader에 대해 정리하고자 한다. 작성 편의상 sampling을 수행하는 기준 node, 즉 sampling을 수행하였을 때 최 상단에 위치하게 되는(기준이 되는) node를 anchor node로 작성하였다. NeighborLoader의 인자torch_geometric.loa.. 공감수 1 댓글수 3 2024. 8. 26.
PyTorch Geometric(PyG) 개요 PreliminariesPyTorch Geometric official docsPyTorch Geometric official github repoStanford PyTorch Geometric tutorial (YouTube) 몇몇 GNN paper를 차츰 읽어보고, 관련 라이브러리가 있는지 찾아보던 중 알게된 PyTorch Geometric, 일명 PyG. 이때가 아마 22년 9월~10월 경인데, 기억상 PyG가 정식으로 공개된지 얼마 되지 않기도 하였고 한창 개발중이던 때라 왠지 더 눈길이 갔던 것 같다. 그리고 무엇보다 마음에 들었던 점은 기존 PyTorch의 code style과 거의 비슷하여서 익숙해지는데 큰 어려움이 없었던 점이다. 더욱 마음에 들었던 점은 바로 공식 docs에 예제 code.. 공감수 0 댓글수 0 2024. 8. 5.
Graph Representation Learning (2): Graph Neural Networks -->Graph Machine LearningGraph ML, random walk approach에 관한 글은 이전 포스팅에 기술되어 있다. Graph Neural Networkrandom walk를 이용한 접근 방식에도 당연히 문제점이 존재했다. embedding 계산을 위해 graph에 존재하는 전체 node 수 만큼의 복잡도를 가진다.node마다 가지고 있는 정보(feature, attribute)를 온전히 활용하지 못한다.Transductive한 방법이기에 학습하는 과정에서 unseen node에 대한 embedding 계산을 하지 못한다. 따라서 encoding을 수행하는 mapping function $f$를 신경망을 통해 진행하자는 연구가 진행되었고, GNN(Graph Neural Ne.. 공감수 0 댓글수 0 2024. 7. 17.
Graph Representation Learning (1): Overview of representation learning --> Preliminaries머신 러닝, 딥 러닝에 발을 담궈보면 언제나 나오는 representation learning. 학부 시절 수업을 들었을 때나, 유튜브에 공개된 외국 강의 자료들을 봐도 항상 등장한다. 단어 뜻만 보면 "표현 학습" 인데, 공부를 막 시작하다 보면 이게 도대체 무슨 의미인가 하고 쉬이 넘어가기가 쉬웠다. 머신 러닝, 딥 러닝 관련 자료를 보면 위와 같은 그림이 자주 등장한다. CNN의 hidden layer가 주어진 이미지의 feature를 위 그림처럼 학습해서 최종적으로 분류와 같은 downstream task를 수행할 수 있다는 설명을 하는데, 그런가보다~ 하고 넘어가기가 쉽다. 도대체 자주 언급되고 등장하는 feature, representation이 뭘까? Re.. 공감수 2 댓글수 3 2024. 7. 11.
Inductive Representation Learning on Large Graphs -->GCN 논문을 review하고 난 후 이어서 바로 deep-dive를 했던 논문.소개된 모델의 이름에 SAGE(현자)가 들어가있어서 좀 신기하기도 하고 피식했던 기억이 난다. GCN과 마찬가지로 원본 코드가 tensorflow v1으로 작성되었던 터라 코드 분석과 실행에 다소 애를 먹었지만, 그래도 개인적으론 (appendix 부분을 제외하고) GCN에 비해 수학적 background가 많이 요구되었던 것 같지는 않았다. 논문에서 계속 GCN을 언급하면서 GCN을 확장했다, GCN보다 성능이 잘 나온다 라는 말이 나오는데, GCN paper review는 이전 포스팅에서 확인할 수 있다. Published in NIPS(NeurIPS)2017paperofficial source code repo (.. 공감수 0 댓글수 0 2024. 6. 27.
Semi-Supervised Classification with Graph Convolutional Networks -->석사과정을 시작하던 시절, 본격적으로 논문들을 review하던 중 deep-dive를 했던 논문 중 하나.당시엔 notion의 존재를 모르기도 했고, (현재까지) 태블릿이 없기도 해서 프린트로 출력 후 논문에 직접 써가며 review를 했었던 기억이 난다.(notion의 존재를 좀 더 빨리 알았더라면 re-posting도 수월했을텐데..) tensorflow v1으로 작성된 코드를 논문과 비교하면서 해석해보고, 어찌저찌 실행도 해보고, 원 저자의 pytorch 구현을 참고해서 pytorch로 다시 작성해보고...여러모로 추억이 많은 논문인 듯 하다. Published in ICLR2017paper: https://arxiv.org/abs/1609.02907official source code r.. 공감수 1 댓글수 2 2024. 6. 17.
Github pages + al-folio를 활용한 개인 홈페이지 제작기 약 하루? 정도의 시간을 투자해서 만든 개인 홈페이지! https://skdbsxir.github.io/ Cheolhee Kim I completed my M.S. in Computer Science and Engineering at Sogang University, where I studied graph neural networks, ditributed training of graph neural networks and recommender systems. Previously, I received my B.S. in Computer Science and Engineering at skdbsxir.github.io 몇일 전 개인 홈페이지를 한번 만들어보자! 하는 마음에 템플릿을 찾던 중 발견했던 마음에 .. 공감수 2 댓글수 6 2024. 3. 22.
Github Pages를 활용하여 개인 홈페이지 제작 도전 대학원 졸업을 마치고, CV를 만들어 두었지만, (가꾸어갈 예정인...)블로그, 트위터, 이메일, 깃허브 링크를 한번에 담아두면서, 간략한 사진 + 자기소개 + 기타 등등... 을 적어둘 사이트를 하나 만들어보자는 결심을 했다. 찾아보니 Jekyll 이라는 패키지? 라는걸 사용해서 만들 수 있는 것 같은데 대 정보화시대에 걸맞게 여러 템플릿이 많이 있었고 마음에 드는 템플릿을 찾았다: https://github.com/alshedivat/al-folio?tab=readme-ov-file#getting-started GitHub - alshedivat/al-folio: A beautiful, simple, clean, and responsive Jekyll theme for academics A beaut.. 공감수 0 댓글수 0 2024. 3. 19.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.