누구에게 도움: “일단 되는 것”과 “실제로 쓸 수 있게 만드는 것” 사이의 간극을 겪고 있는 사람. 프로토타입은 잘 됐는데 스케일을 키우려니 막막해진 사람.
Before
지난 며칠간 리드젠 에이전트가 15개 회사까지는 문제없이 채워졌다. 회사 하나씩 조사하는 과정(공공데이터 조회 → 홈페이지 확인 → 뉴스 검증 → 시트 기록)도 스킬로 만들어서 반복 가능하게 해뒀다. **“이제 이걸 수백~수만 개로 늘리기만 하면 되겠다”**고 생각했다.
실제로 부딪힌 것
스케일을 키우려고 대량 스크리닝 스크립트를 만들어서 돌려보니, 생각보다 훨씬 근본적인 문제 3가지가 드러났다.
1) “적합한 회사를 찾는 방법론” 자체가 아직 부족하다
업종코드 필터와 정성 체크리스트를 만들긴 했다. 그런데 실제로 대량 스크리닝을 돌려서 상위 후보 5개를 검증해보니, 5개 중 확실히 통과한 게 0개였다 (스캠 사이트, 엉뚱한 회사 정보, 방치된 홈페이지 등). 지금 로직이 “명백히 틀린 것”은 잘 걸러내지만, “진짜 좋은 후보”를 정확히 골라내는 데는 아직 한참 부족하다는 게 드러났다.
2) 홈페이지를 열 때마다 사람이 “허용”을 눌러야 한다
새로운 회사 홈페이지를 열 때마다, 브라우저가 “이 사이트를 열어도 될까요?” 하고 한 번씩 확인을 받는다. 회사가 몇 개면 괜찮은데, 수백~수만 개가 되면 이 지점 하나만으로도 사람이 하루 종일 매달려야 한다. 이걸 없애는 방법을 아직 못 찾았다 — 이건 도구 자체의 권한 설정이 아니라 브라우저에 내장된 별도 보안 장치라서, 지금 알고 있는 방법으로는 못 끈다.
3) 공공데이터 접근 자체가 차단당했다
스크립트를 빠르게 돌리려다가 API 접속이 통째로 막혔다. 속도를 늦추고 하루 호출 한도를 정해두는 식으로 재발 방지책을 만들긴 했지만, 정확히 어떤 기준을 넘으면 차단되는지는 여전히 모른다. 추측으로 안전선을 그어둔 것일 뿐, 진짜 안전한 선인지는 확신이 없다.
지금 상태 (아직 미해결)
초기 테스트(15개)는 잘 됐지만, 진짜 목표(수백~수만 개)에 필요한 세 가지 — 정확한 판별 방법론, 사람 개입 없는 완전 자동화, 안정적인 데이터 접근 — 가 전부 아직 완성되지 않았다. 오늘은 이 문제들을 명확히 “발견”한 날이지, “해결”한 날은 아니다.
배운 것
- 작은 규모에서 되는 것과 큰 규모에서 되는 것은 다른 문제다. 15개에서 통했던 방식이 577개·수만 개로 가면 완전히 새로운 장애물을 만난다.
- 문제를 명확히 인식하는 것 자체도 진전이다. 세 가지 벽의 정체를 알았으니, 다음엔 “막연한 불안”이 아니라 “구체적인 과제” 세 개를 풀면 된다.
- 걱정되는 게 정상이다. 없던 문제를 만들어낸 게 아니라, 원래 있었는데 작은 규모에서는 안 보였던 문제를 이제야 마주한 것뿐이다.
다음에 풀어야 할 것 (재사용 자산 대신 — 체크리스트)
- ICP 판별 방법론을 더 정교하게 — 지금의 업종코드+체크리스트보다 더 신뢰할 수 있는 근거 필요
- 브라우저 사이트 승인을 우회하지 않으면서도 사람 개입을 줄일 다른 방법 탐색 (예: 홈페이지 확인을 API 기반 다른 방식으로 대체하는 것도 고려)
- 공공데이터 API의 공식 이용 제한을 반드시 찾아서, 추측이 아닌 확실한 안전선 확보