feat: 테이블 및 컬럼 정보를 병렬로 수집하도록 개선하여 성능 향상

[DShomin]

#️⃣ Issue Number

• TBD

📝 요약(Summary)

• Datahub에서 설명을 받아올 때 너무 오랜 시간이 걸려 병렬처리를

💬 To Reviewers (선택)

• 다른 곳에서 함수를 사용할 때 문제가 생기는지 확인이 필요합니다.
• Datahub 서버에 부하문제는 없을까요??

PR Checklist

• get_info_from_db() 에서 동작 확인
• _get_table_info() 에서 동작 확인

reference) How to Code Review

• 따봉(👍): 리뷰어가 리뷰이의 코드에서 칭찬의 의견을 남기고 싶을 때 사용합니다.
• 느낌표(❗): 리뷰어가 리뷰이에게 필수적으로 코드 수정을 요청할 때 사용합니다.
• 물음표 (❓): 리뷰어가 리뷰이에게 의견을 물어보고 싶을 때 사용합니다.
• 알약 (💊): 리뷰어가 리뷰이의 코드에서 개선된 방법을 제안하지만 그것의 반영이 필수까지는 아닐 때 사용합니다.

[ehddnr301]

❗혹시 이것도 Optional 하게 지원이 가능할까요? column_info를 받아오는데서 뭔가 병목이 발생하는것으로 보입니다.

tqdm으로 봤을때는 column_info 쪽에서 오래걸리는것으로 보이더라구요!

병렬처리가 안되는것 같지는 않고 Datahub쪽의 문제는 아닐지 의심이 됩니다아ㅜㅜ

스크린샷은 70초대가 원래로직 200초대가 수정로직입니다.

혹시 @DShomin 님 환경에서는 더 빠르게 작동하시는걸까요!?

[DShomin]

❗혹시 이것도 Optional 하게 지원이 가능할까요? column_info를 받아오는데서 뭔가 병목이 발생하는것으로 보입니다.

tqdm으로 봤을때는 column_info 쪽에서 오래걸리는것으로 보이더라구요!

병렬처리가 안되는것 같지는 않고 Datahub쪽의 문제는 아닐지 의심이 됩니다아ㅜㅜ

스크린샷은 70초대가 원래로직 200초대가 수정로직입니다.

혹시 @DShomin 님 환경에서는 더 빠르게 작동하시는걸까요!?

제가 get_info_from_db()이 함수만 확인한 것 같네요
말씀하신 것처럼 column 정보 추출에서는 2분 30초 = 190초 정도 소요되는 것으로 확인되네요

persona 생성에 이 함수가 느려 수정을 진행했던 작업인데 persona 생성에서만 작동하도록 Optional로 변경하는게 좋을 것 같네요

master 브런치로 get_info_from_db 함수 실행해봤을 때는 952.9591680000303로 나오네요

[ParkGyeongTae]

👍 빠르게 테스트할 수 있을 것 같아여~

[nonegom]

👍 window 환경에서 데이터를 받아보니...꼭 필요한 기능이라고 생각합니다!