[개발이야기#095] 스팀잇 검색엔 데이터 수집 스케쥴 변경 2025-11-15
안녕하세요 가야태자 @talkit 입니다.
오늘은 일단 오래만에 주말 휴식이라서 좀 자고 ^^
n8n의 설정을 좀 변경 했습니다.
전체 글을 수집하는 프로그램이 매 5분 마다(0,5,10,15,20,25,30,35,40,45,50,55)로 두번 돌게 되어 있었는데
이번에는 매 분마다로 수정 해두었습니다.
일단, 제가 작업하고 있는 수집기는 저렇게 동작 합니다. ^^
저기 스케쥴 트리거를 수정해서 매 1분마다로 수정 해두었습니다.
지금은 1440명 * 2로 수집하게 될 겁니다. ^^
내일은 UI의 기능을 조금 추가 해야겠습니다.
- 지금은 게시일 역순으로만 검색 데이터가 보입니다.
정확도 순을 추가해서 원래 엘라스틱 서치의 검색결과를 가져와 볼 생각 입니다.
- 지금은 검색어 하나를 넣으시면 사용자명, 제목, 내용을 검색 해드리는데
전체, 사용자명, 제목, 내용을 선택해서 검색할 수 있도록 수정 해둘 생각입니다.
- 검색 결과가 깨지는 부분을 개선할 예정입니다.
이 부분은 아마도 내일 다하진 못할것 같구요. 다음주나 해서 차차 해볼 계획입니다. ^^
감사합니다.
Posted through the ECblog app (https://blog.etain.club)
게시물을 모두 다운 받은 후 검색을 해서 그런지~
매우 빠르게 많은 결과를 보여주는 것 같아 좋습니다! ^^
[booming-kr-auto]
@booming-kr이 보팅드렸습니다 🙌
(보팅받는 기준: 50% 이상 또는 65,000 Mrshares 이상으로 보팅)
넵 제가 사용하고 있는 엘레스틱 서치가 거의 모든 내용을 메모리에 올려서 검색을 하고 있어서
엄청 빠릅니다. ^^
제가 집에서 서버를 운영하고 있어서 네트워크 속도나
추후 수집을 다하면용량이 어떻게 될진 모르지만 용량 때매 문제가 될수는 있겠지만,
색인된 내용은 엄청 빠릅니다.
^^
감사합니다.