[개발이야기#093] 스팀잇 전체 사용자 수집 내역

talkit (71)in #steemsearch • 25 days ago

수집 한 사용자 데이터 중에 수집 시간이 오래된 순서로 정렬을 해봤습니다.

최대가 거의 12시간 정도 걸렸네요 ^^

역시 11월 4일 부터 전체 사용자를 대상으로 수집 하고 있는데 그분들 중에는 최대가 6시간 정도 걸렸고 나머지는 거의 시간이 안걸리고 있습니다.

ㅠ.ㅠ

그래서 주말에 스케쥴을 12개 정도를 더 늘려 볼 생각입니다.

MariaDB [steemsearch]> select now(), count(*) from author_collection_status a where is_collected  = 1;
+---------------------+----------+
| now()               | count(*) |
+---------------------+----------+
| 2025-11-13 13:39:12 |     6557 |
+---------------------+----------+
1 row in set (1.061 sec)

현재까지 Full 색인한 전체 사용자 수입니다.

MariaDB [steemsearch]> select now(), count(*) from steem_posings;
+---------------------+----------+
| now()               | count(*) |
+---------------------+----------+
| 2025-11-13 13:40:12 |  2834268 |
+---------------------+----------+
1 row in set (2.685 sec)

실시간과 Full 색인을 합처서 수집한 전체 데이터 수입니다.

감사합니다.

[개발이야기#093] 스팀잇 전체 사용자 수집 내역

관련 제품 정보