비전공생's

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ 오늘은 너무 너무 아쉽지만, 브라이틱스 서포터즈의 마지막 포스팅이 되겠습니다. 이번 포스팅에서는 활동 후기에 대한 내용을 담을 예정인데요! ​ ​ 그 전에, 제가 브라이틱스 마지막 활동으로 진행한 FDS 이상거래 탐지 모델의 최종 보고서를 공유드리고자 합니다. https://www.brightics.ai/community/knowledge-sharing/detail/7075 많이 부족하겠지만, 한 번쯤 읽어보시고 피드백이 있으시다면 언제든 댓글 부탁드립니다! ​ ​ ​ ​ ​ 삼성SDS의 브라이틱스 서포터즈로 활동하면서 짧다면 짧고, 길다면 긴 약 5개월의 시간동안 ​ 개인 미니 프로젝트 팀 공모전 프로젝트 팀 분석 프로젝트 팀 ..

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ ​ 오늘은 벌써 개인 프로젝트의 마지막 포스팅 데이입니다. 짧지는 않은 시간이었는데, 금새 이렇게 끝이 다가오니 아쉬운 마음이 크네요! ​ 일단, 지난 주에는 랜덤포레스트, XGB, AdaBoost 분류 모델을 통해 비교를 진행했는데요. 랜덤 포레스트가 Accuracy 99%, f1 83%, Precision 86%, Recall 81%의 가장 좋은 성능을 보여서, ​ 이번주는 랜덤 포레스트 모델 내에서 최대 깊이나 트리의 수 등을 바꾸면서 최적의 성능을 가지는 하이퍼파라미터를 탐색해보도록 하겠습니다. ​ 추가로, 해당 데이터셋에서 저는 오버샘플링(SMOTE)를 활용해 불균형 데이터 문제를 해결해주었는데 언더샘플링을 진행했을 때는..

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ ​ 지난 주에는 Decision Tree Classification 모델을 통해 학습을 진행해보았는데요. 이상거래인 label 1을 기준으로 보았을 때, Precision 1%, Recall 41%로 안좋은 결과를 보였습니다. ​ 이번에는 Random Forest, XGB, AdaBoost 분류 모델 3가지를 모두 진행해보고, 성능을 비교해보는 시간을 가져보려고 합니다! ​ 그 전에, 제가 지난 주에 Test 데이터에 정규화를 적용할 때 Train과 동일한 모델로 적용하는 것을 놓쳤기 때문에, 그 부분을 먼저 수정하고 진행하도록 하겠습니다. ​ ​ ​ 0. Noramalization Model Train Set에서 진행한 정규화를..

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ ​ ​ 지난주에는 불균형 데이터의 밸런스를 맞추기 위한 작업을 오버샘플링(SMOTE) 기법을 활용하여 진행하였는데요. 이번에는 그렇게 균형을 맞춘 데이터를 기반으로 머신러닝을 학습시키고 Test데이터에 적용하여 평가를 해보려고 합니다! ​ ​ ​ 1. Decision Tree Classification Train 우선 SMOTE를 통해 균형을 맞춘 Train 데이터를 활용하여, 의사결정나무 분류모델로 학습시켜보겠습니다. ​ 해당 모델 블럭을 선택한 후, Feature Columns와 Label Column을 설정해준 후 실행해보았습니다. ​ ​ 그랬더니, 위와 같은 결과를 확인할 수 있었습니다. ​ ​ 2. Test 데이터 정규화..

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ ​ ​ 오늘은 지난주에 진행했던 전처리에 이어서 추가 전처리를 진행해볼 예정입니다. ​ 지난 주 보여드린 바와 같이, 제가 현재 다루고 있는 데이터는 불균형이 심한 데이터인데요! Fraud(이상거래)데이터와 Normal(정상거래)데이터를 살펴보았을 때, 이상거래 데이터는 492개, 정상거래 데이터는 284,315개로 구성되어있음을 확인할 수 있었습니다. ​ 위의 상태 그대로, 불균형 데이터에 대한 처리없이 학습을 진행하게 되면 모든 데이터를 정상으로 분류할 가능성이 높기때문에, 불균형 데이터를 처리하기 위한 단계가 꼭 필요합니다! ​ ​ 1. 불균형 데이터 처리 방안 불균형 데이터를 처리하기 위해서는, ① Under samplin..

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ ​ ​ 오늘은 지난주에 소개해드렸던 주제와 데이터를 기반으로, 데이터를 전반적으로 살펴보고 전처리 과정을 진행해볼 예정입니다. ​ 그럼, 바로 시작하도록 하겠습니다! ​ ​ ​ ​ 1. 데이터 불러오기 우선 데이터를 불러와보도록 하겠습니다. 데이터에 대한 출처와 간단한 설명은 이전 게시물로 확인 부탁드립니다! ​ ​ 데이터를 불러왔더니, 컬럼값들이 모두 ""로 감싸져 있어, 에러가 생겼는데요! ​ ​ 컬럼에 있는 ""를 모두 삭제해주면, 위의 모습처럼 성공적으로 데이터를 불러올 수 있습니다! ​ ​ ​ 2. 데이터 살펴보기 그럼 이제 데이터를 살펴보도록 하겠습니다. 가장 먼저, null값은 없는지 확인해보겠습니다! ​ ​ 이를 위..

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ ​ ​ 지난주까지 팀 분석 프로젝트를 모두 마치고, 이제 이번주부터는 개인 분석 프로젝트를 진행하게 되었습니다. ​ ​ 그 시작으로, 어떤 주제를 잡아 진행하면 좋을 지 많은 고민을 해보았습니다. 제가 개인적으로 관심있는 분야는 부동산, 금융 부분이기 때문에, 해당 주제에 포커스를 맞춰서 데이터를 찾아보았습니다. ​ ​ 그 중에서도 저는 FDS라고 불리는, 이상거래 탐지 예측 모델링을 주제로 정하였답니다! ​ ​ 여기서 FDS란, Fraud Detection System의 약자로 전자금융거래에서 사용되는 단말정보, 접속로그, 거래정보 등을 분석해서 금전 및 사적인 이득을 취하려는 부정한 거래 행위를 탐지, 분석하고 예방하는 시스템..

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ ​ 오늘은 지난주에 이어 영상 제작에 대한 포스팅을 진행하려고 합니다. ​ 지난 9월 17일에 저희 팀원들이 모여 영상 촬영 진행 후, 영상 파일을 모두 드라이브에 공유하고 편집을 진행하였습니다! 저는 편집을 담당했기 때문에, 영상들을 다운로드 받아서 프리미어로 편집을 진행하였습니다! ​ ​ ​ 영상은 국문판, 영문판의 2가지로 제작되었는데요! ​ 국문, 영문 시나리오를 미리 워딩으로 정리해준 팀원들 덕분에 편하게 자막 작업을 진행 할 수 있었습니다! ​ ​ 결국 영상의 핵심은 브라이틱스를 사용해서 텍스트 분석까지 가능하다는 것 이었는데요! ​ ​ 쉽지 않았던 영상 제작인 만큼, 다들 재미있게 봐주셨으면 좋겠네요! 곧 삼성SDS ..

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ ​ ​ 오늘은 지난주에 이어 영상 제작 과정에 대한 포스팅을 진행하려고 합니다. 지난 토요일인, 9월 17일에 저희 팀원들이 모여 영상 촬영을 진행했는데요! ​ ​ 우선 장소는 제가 살고있는 오피스텔에서 진행하였습니다! 신축이고, 이곳 저곳 활용할만한 장소가 많아서 수월하게 진행한 편인 것 같습니다. ​ ​ 물론, 체력적으로 촬영이 쉽진 않았는데요! 연기도 쉽지 않아서, 새삼 배우분들을 존경하게 되었답니다. ​ 저희 팀은 총 5명으로, MBTI 과몰입 소개팅 이라는 주제였습니다! 그래서, 소개팅을 하는 장면과 소개팅 회사의 장면들을 촬영했습니다. ​ ​ 우선 소개팅 장면을 가장 먼저 촬영했습니다. 상민오빠와 세정이가 소개팅 남여 ..

안녕하세요 삼성SDS Brightics 서포터즈 3기, 비전공생입니다! ​ ​ 오늘은, 지난 4주간 진행했던 MBTI 예측 프로젝트에 대한 영상 제작을 설명드리려고 합니다! ​ ​ 1.영상 컨셉 ​ 지난 팀 분석 프로젝트에서 저희가 진행했던 주제를 다시 설명드리자면, 저희는 “텍스트 데이터로 MBTI 예측하기” 프로젝트를 진행했습니다. ​ 해당 과정을 영상에 어떻게 담아볼지에 대해 고민을 하던 중! 소개팅 매칭을 위한 MBTI 분석으로 컨셉을 잡았습니다. ​ 첫만남에서도 무조건 MBTI를 먼저 물어보는 요즘 같은 시기에, 매우 트렌디한 영상이 아닐까 싶네요! :^ ​ 저희는 지난주 일요일인, 9월 4일에 수서역에서 다 같이 모여서 분석 프로젝트를 함께 마무리하며 영상 컨셉을 정리했습니다! ​ ​ 직접 모..