최근 LangChain 컨퍼런스에서 앤드류 응(Andrew Ng)과 해리슨 체이스(Harrison Chase)가 나눈 대화는 AI 에이전트 개발의 현재 상황과 미래 방향에 대한 깊이 있는 통찰을 제공했다. 이 대화에서 나온 핵심 내용들을 정리해보면서, 에이전트 개발자들이 알아야 할 중요한 포인트들을 살펴보자.
에이전트성(Agentness)에 대한 새로운 관점
앤드류 응이 1년 반 전에 제시한 "에이전트성"이라는 개념은 여전히 유효하다. 그는 "이것이 에이전트인가, 아닌가"를 따지는 대신, 시스템이 얼마나 자율적인지의 정도로 접근하자고 제안했다. 이 관점은 마케터들이 "에이전트"라는 용어를 남발하기 시작한 지금 더욱 중요해졌다.
현재 대부분의 비즈니스 기회는 복잡한 루프를 가진 고도로 자율적인 시스템보다는, 선형적이거나 약간의 분기를 가진 워크플로우에 있다고 한다. 예를 들어, 웹사이트 폼을 확인하고, 웹 검색을 하고, 데이터베이스에서 컴플라이언스 이슈를 체크하는 등의 업무들이다.
에이전트 개발자가 마스터해야 할 핵심 스킬
평가(Evaluation) 시스템의 중요성
앤드류 응은 많은 팀들이 체계적인 평가 시스템을 구축하는 것을 너무 늦게 시작한다고 지적했다. 대부분의 팀이 변경사항이 있을 때마다 사람이 직접 결과물을 확인하는 방식에 너무 오래 의존한다는 것이다.
효과적인 평가 시스템은 전체 시스템의 성능을 이해할 뿐만 아니라, 개별 단계를 추적해서 어떤 부분이 문제인지 정확히 파악할 수 있게 해준다. 그는 평가를 거대한 프로젝트로 생각하지 말고, 20분 정도면 빠르게 만들 수 있는 간단한 도구로 접근하라고 조언한다.
레고 블록 같은 도구들의 활용
AI 도구들을 다양한 색깔과 모양의 레고 블록에 비유하며, 더 많은 종류의 도구를 알수록 더 빠르게 멋진 것들을 조립할 수 있다고 설명했다. RAG, 챗봇 구축, 메모리 시스템, 가드레일 등 다양한 도구들을 익혀두면, 필요할 때 적절한 도구를 빠르게 선택해서 사용할 수 있다.
하지만 이런 도구들과 모범 사례들은 계속 변화한다. 예를 들어, LLM의 컨텍스트 길이가 길어지면서 1년 반 전의 RAG 모범 사례들은 이제 많이 달라졌다. 과거에는 복잡한 재귀 요약 등을 사용했지만, 이제는 더 많은 정보를 컨텍스트에 직접 넣을 수 있게 되었다.
주목해야 할 과소평가된 기술들
음성 스택의 잠재력
앤드류 응은 음성 애플리케이션이 크게 과소평가되고 있다고 본다. 대기업들은 음성 애플리케이션에 매우 큰 관심을 보이고 있지만, 개발자 커뮤니티의 관심은 상대적으로 적다는 것이다.
음성의 가장 큰 장점은 사용자 마찰을 줄인다는 점이다. 텍스트 프롬프트는 많은 사용자들에게 부담스럽지만, 음성은 시간이 흘러가면서 자연스럽게 말을 이어갈 수 있다. 사람들은 글을 쓸 때보다 말할 때 완벽함에 대한 부담을 덜 느끼기 때문에, 더 쉽게 정보를 제공한다.
음성 애플리케이션의 가장 큰 기술적 도전은 지연시간이다. 사용자가 말하면 1초 이내, 이상적으로는 100밀리초 이내에 응답해야 한다. 이를 위해 "사전 응답" 기법을 사용하는데, "흥미롭네요" 또는 "생각해보겠습니다" 같은 말로 지연시간을 숨기는 방법이다.
AI 코딩 어시스턴트의 보편화
개발자가 AI 어시스턴트를 사용하는 것과 사용하지 않는 것의 생산성 차이는 엄청나다. 하지만 여전히 많은 회사의 CIO와 CTO들이 엔지니어들의 AI 어시스턴트 사용을 금지하는 정책을 유지하고 있다.
흥미롭게도 AI Fund의 모든 직원들, 심지어 리셉셔니스트, CFO, 법무팀까지 모두 코딩을 할 줄 안다. 소프트웨어 엔지니어가 되기 위해서가 아니라, 각자의 업무에서 컴퓨터에게 원하는 것을 더 정확히 지시할 수 있기 때문이다.
새로운 표준과 프로토콜
MCP(Model Context Protocol)의 등장
MCP는 에이전트와 다양한 데이터 소스 간의 통합을 표준화하려는 중요한 시도다. n개의 모델과 m개의 데이터 소스가 있을 때, n×m의 노력이 아닌 n+m의 노력으로 통합할 수 있게 만드는 것이 목표다.
현재 MCP는 초기 단계로, 인터넷에서 찾을 수 있는 많은 MCP 서비스들이 제대로 작동하지 않고, 인증 시스템도 불안정하다. 또한 현재는 사용 가능한 결과의 긴 목록을 제공하는 방식인데, 향후에는 계층적 발견 메커니즘이 필요할 것이다.
에이전트 간 통신은 아직 이르다
멀티 에이전트 시스템에 대한 관심은 높지만, 실제로는 아직 매우 초기 단계다. 한 팀이 여러 에이전트를 구축해서 서로 소통하게 만드는 것은 가능하지만, 서로 다른 팀이 만든 에이전트들이 성공적으로 소통하는 사례는 아직 많지 않다.
바이브 코딩과 미래의 개발
"바이브 코딩"이라는 용어는 오해를 불러일으킨다. 마치 직감만으로 코딩하는 것처럼 들리지만, 실제로는 매우 지적인 활동이다. AI 코딩 어시스턴트와 함께 하루 종일 코딩하고 나면 정말 지칠 정도로 집중적인 작업이다.
AI가 코딩을 자동화할 것이라는 이유로 코딩을 배우지 말라고 조언하는 것은 역사상 최악의 커리어 조언 중 하나가 될 것이다. 역사적으로 코딩이 쉬워질 때마다 더 많은 사람들이 코딩을 시작했다. 펀치카드에서 키보드로, 어셈블리 언어에서 COBOL로 발전할 때도 비슷한 우려가 있었지만, 결과적으로는 더 많은 프로그래머가 필요해졌다.
미래의 가장 중요한 스킬 중 하나는 컴퓨터에게 정확히 원하는 것을 지시하는 능력이다. 컴퓨터가 어떻게 작동하는지 이해하면 더 정확한 프롬프트나 지시를 할 수 있다.
스타트업 성공의 핵심 요소
AI Fund의 경험을 바탕으로 한 스타트업 성공 예측 요소는 다음과 같다:
첫 번째는 속도다.숙련된 팀이 실행하는 속도는 경험해보지 못한 사람들에게는 상상하기 어려울 정도로 빠르다.
두 번째는 기술적 지식이다.마케팅, 세일즈, 가격 책정 등의 지식도 중요하지만, 이런 지식은 상대적으로 널리 퍼져 있다. 반면 기술이 실제로 어떻게 작동하는지에 대한 깊은 이해는 매우 희귀하고 가치 있다.
마무리하며
에이전트 개발은 여전히 초기 단계지만, 실용적인 비즈니스 가치를 창출할 수 있는 많은 기회들이 존재한다. 복잡한 자율 시스템을 구축하기보다는, 현재 사람들이 수행하고 있는 선형적인 워크플로우를 자동화하는 것부터 시작하는 것이 현실적이다.
성공적인 에이전트 개발을 위해서는 체계적인 평가 시스템 구축, 다양한 AI 도구들에 대한 이해, 그리고 빠른 실행력이 핵심이다. 또한 음성 인터페이스나 MCP 같은 새로운 기술들에도 관심을 가져야 한다.
무엇보다 중요한 것은 AI가 코딩을 대체할 것이라는 두려움보다는, AI와 함께 더 효과적으로 일할 수 있는 능력을 기르는 것이다. 컴퓨터에게 정확히 원하는 것을 지시할 수 있는 능력은 앞으로 더욱 중요해질 것이며, 이를 위해서는 기본적인 프로그래밍 지식이 여전히 필요하다.