datachat.kr

AI로 업무를 자동화하는데 시간 낭비를 하고 있지 않는가? 바보야 속도가 문제야.

ChatGPT 나 다른 AI로 엑셀 함수를 만들고 코딩하고 업무를 자동화 하는데 무슨 시간 낭비라고 생각하는 분도 있겠다. 하지만 AI의 도움을 받으며 업무 자동화를 하는 많은 사람들은 불편함을 가장 크게 느낀점은 바로 속도일것이다!

특히 가장 많은 사람들이 사용하는 ChatGPT 4.0의 경우 속도가 너무 느리다. 특히 미국 출근, 학교 수업이 시작하는 일상 생활 시간이 되면 속도가 엄청 느려진다.

이렇게 느려지는 답변 속도는 결국 생산성 저하로 이어진다. 사실 AI를 이용하는 이유는 생산성 향상 아닌가?

그래서 최근에 AI의 속도에 대한 많은 고민과 개선 방안들이 도출되고 있다. 최근에 속도 측면에서 가장 각광받는 AI는 바로 Groq이다.

Groq의 속도는 어마어마하게 빠르다. https://groq.com/에서 테스트를 할 수 있는데 Llama2-70b-4096 모델은 292.25 Token/Second라는 속도가 나왔다. Mixtral-8x7b-32768 모델을 사용하면 561.40 Token/Second 속도이다. 그냥 입력하면 거의 바로 나왔다.

그렇다고 성능을 포기할 수는 없지 않는가? 디버깅의 시대가 도래해버렸다….

생성형 AI가 나오기전에 엑셀 함수를 만들고 코드를 만드는데 80%시간을 보내고 디버깅(점검, 테스트)하는데 20%시간이었다고하면 생성형 AI는 작업시간이 약 10%이고 디버깅(점검, 테스트)에 90% 시간을 보낸다라는 밈을 본적이 있다. (수치는 다를 수 있다)

RPA, 웹 업무 자동화 개발에 적용하면서 이 부분에 대해 크게 동의한다. 아무리 빠른 속도를 제공하는 모델 GPT 3.5, groq, Gemini 등이 있다하더라도 코드를 잘못 만들어주면 문제점을 찾고 수정하는데 너무 오랜시간이 걸린다.

최근 경험이다. 모든 코드가 정확하게 제공되었음에도 계속 자바 스크립트 쪽에서 서버와 통신하는 쪽에서 404에러를 발생시켰다. 거의 30분 정도를 왜 그런지 찾다가 보니 endpoint를 자기마음대로 지정해서 생긴 문제였다. 내가 정의한 variable 명칭이 마음에 안들었서 이를 마음대로 바꾼것이다.

속상한건 prompt에서 endpoint 정보를 분명히 제공하였음에도 불구하고 이런 오류가 생겼다는 것이다.

특히 Gemini는 곧 구독을 취소할 예정인데 코딩 성능이 개인적으로 너무 안좋다.

결국 속도 때문에 claude AI를 선택했다.

anthropic의 Claude AI를 선택한 이유는 간단하다. 속도와 정확성 때문이다. Claude 3 Opus, Sonnet, Haiku 모델을 제공한다. Opus는 Chat GPT 4.0에 대응하는 모델이다. 여러 벤치마크에서 뛰어난 성능을 자랑한다. (Gemini 이후에 벤치마크 성능을 그다지 신뢰하지 않는다.)

이 모델의 성능과 속도의 절묘한 조화 때문에 선택하게 되었다. Sonnet 성능은 Chat gpt 4.0 보다 조금 낮은 성능이고 현재 무료로 사용할 수 있는 모델이다. 간간히 이 모델을 급하게 코딩하거나 HTML 작업할때 활용했는데 간단한건 GPT 4.0 보다 훨씬 빠르고 정확하게 답변을 제공해주었다. 단, 이 모델은 무료로 사용하면 글자 수에 따라 대화할 수 있는 양이 한계가 있어 더 이상 답변을 들을 수 없다.

이번에 웹으로 자동화 서비스를 개발하면서 html, java script를 급하게 만들고 있는데 느린 Chat GPT 4.0 성능에 생산성이 계속 떨어졌다. 반면에, Claude의 Sonnet 답변만 하더라도 충분히 빠르고 바로 작동이 되었다. 그래서 결국 구매를 하였다.

Opus는 성능이 가장 뛰어난 모델이지만 그만큼 속도는 Sonnet 보다는 느렸다. 유료를 쓰는거니깐 제일 좋은 모델 부터 사용하고 있다. 단, 한번 대화를 시작하면 다른 모델로 변경할 수 가 없다.

50분 수작업 → 3분만에 완료! 배송현황 자동화 웹서비스

이번에 개발한 UPS, Fedex, EMS 등 해외배송 현황을 체크하는 프로그램은 엑셀을 이용한 VBA나 매크로 보다 훨씬 빠르고 사용자 편이성이 좋았다. 네이버 지식in에서 약 1년간 활동하면서 지존 등급을 받으면서 쌓았던 해외배송 노하우 등을 담아서 만든 웹서비스 프로그램이다. 송장(tracking number)번호를 엑셀에 입력하면 해당 송장의 현재 배송정보를 확인해주는 서비스다. 결과는 엑셀로 다운로드도 가능하다. 직원이 일일이 UPS, Fedex, EMS 등에 접속해서 송장번호를 입력하고 현재 상태를 복사해서 엑셀에 붙여넣기를 하는 방법 보다 훨씬 효율적인 서비스이다. 예를들어 하루에 80건 정도를 각 사이트에 접속해서 배송정보를 확인한다고 할때 약 50분정도가 소요되었는데 이 서비스를 이용하면 3~4분이면 끝이다.

Claude와 함께 처음으로 개발한 프로그램인데 꽤 만족한다. 앞으로 새로운 서비스를 개발하는데 생산성 향상에 Claude AI가 더 큰 도움을 줄 수 있을거라 기대한다.