AI 도구의 한국어, 한글 성능을 비교해보자
- 테스트 대상 도구 : Mistral AI, Gemini Advanced, Chat GPT 4, claude, perplexity
- 활용 데이터 : 대한민국 정책브리핑 기사 (3월부터 호텔서 칫솔 등 일회용품 무상 제공 못한다)
- 비교 방법 : 동일한 한국어 한글 Prompt를 입력한 후 요약의 성능을 주관적으로 비교해보겠다.
- 프롬프트 : [URL] 기사 내용을 활용하여 요약 보고서를 작성해달라. 답변은 시사점과 요약으로 구성해달라.
Mistral AI (large) 한국어 검증시험결과 – Good (속도 보통)
(1) 1차시도 : 인터넷 브라우징 기능이 없어서 전혀 기사 내용과 관련 없는 답변
(2) 2차시도 (한글 본문을 제공) : 성공
시사점:
-
-
- 3월부터 호텔에서 일회용품 무상 제공 금지, 칫솔 등 편의 물품 유료화
- 1세대 1주택 장기 보유자의 재건축 부담금 감면, 최대 70% 할인
- 청소년 신분증 위조·변조 피해 방지를 위한 게임산업진흥법 시행령 시행
- 매크로 프로그램을 이용한 공연 입장권 부정판매 금지
-
요약:
3월부터 호텔에서 일회용품을 무상으로 제공할 수 없게 된다. 50실 이상인 숙박업소는 일회용품 사용을 억제해야 하며, 무상으로 제공해서는 안 된다. 이를 어겨 무상으로 일회용품을 제공하는 경우 과태료가 부과된다.
또한, 1세대 1주택 장기 보유자의 재건축 부담금이 감면된다. 재건축 대상 주택 외의 다른 주택을 보유하지 않은 1세대 1주택자가 6년 이상 주택을 보유한 경우, 보유기간에 비례해 부담금의 일부를 감경한다. 6년 이상 7년 미만 보유한 경우 감경 비율이 10%이며, 20년 이상 보유한 경우 감경 비율이 70%까지 올라간다.
게임산업진흥법 시행령이 시행되어 청소년이 신분증을 위조·변조해 실제 나이를 알 수 없었거나 협박 등으로 나이를 확인하지 못한 경우 등의 피해를 받은 선량한 자영업자는 행정처분이 면제된다.
또한, 매크로 프로그램을 이용한 공연 입장권 부정판매를 금지한다. 공연법에 따라 정보통신망에 지정된 명령을 자동으로 반복 입력하는 매크로 프로그램을 사용해 입장권을 구매한 뒤 웃돈을 붙여 되팔아서는 안 된다. 이러한 프로그램을 이용해 입장권을 부정판매한 사람은 1년 이하의 징역 또는 1000만 원 이하의 벌금에 처한다.
이러한 법령들의 제정과 개정 이유와 주요 내용은 국가법령정보센터에서 확인할 수 있다.
(3) 평가(Good) : 기존 원본의 기사 문장을 최대한 유지하고 답변을 하였다. 따라서 상당히 문장이 자연스럽다. 단어나 문장 표현을 AI가 임의로 수정하지 않고 최대한 원본을 활용하고 있다.
Gemini Advanced (유료) 한국어 검증시험결과 – Bad (속도 빠름)
(1) 1차 시도 : 인터넷 검색 기능이 가능하여 바로 답변을 얻을 수 있었음
시사점
-
- 정부는 환경 보호와 소비자 보호를 위해 여러 법률을 개정했습니다.
- 호텔은 칫솔과 같은 일회용 비품을 제공할 수 없게 되었습니다.
- 병원은 불법적으로 의료 폐기물을 배출할 수 없게 되었습니다.
- 소비자는 콘서트 티켓을 되팔 수 없게 되었습니다.
요약
정부는 환경 보호와 소비자 보호를 위해 여러 법률을 개정했습니다. 호텔은 칫솔과 같은 일회용 비품을 제공할 수 없게 되었습니다. 병원은 불법적으로 의료 폐기물을 배출할 수 없게 되었습니다. 소비자는 콘서트 티켓을 되팔 수 없게 되었습니다.
이러한 법률 개정은 환경 보호와 소비자 보호에 기여할 것으로 기대됩니다. 호텔은 일회용 비품을 제공하지 않음으로써 환경 오염을 줄일 수 있습니다. 병원은 불법적으로 의료 폐기물을 배출하지 않음으로써 공중 보건을 보호할 수 있습니다. 소비자는 콘서트 티켓을 되팔 수 없음으로써 과도한 가격 상승을 방지할 수 있습니다.
(2) 평가(Bad) : 병원은 불법적으로... 이 부분은 원본 기사에 전혀 없는 가짜 뉴스 내용이다. 원본 기사의 내용을 새로운 문체와 단어로 요약하는 과정에서 만들어진것 같다. 원본의 단어나 문장이 많이 변경되었다. 예를들어 원본에는 없는 소비자 또는 폐기물 이라는 단어가 새롭게 생성되었다. 개인적으로 원본의 느낌 또한 제대로 살리지 못한거 같아 아쉽다.
Chat GPT 4 한국어 검증시험결과 – Good (속도 보통)
(1) 1차 시도 : 영어로 답변을 받았다..
(2) 2차 시도 (한글로 답변해달라 라는 문구를 추가하였다) : 성공
3월부터 호텔에서는 칫솔과 같은 일회용품을 무료로 제공할 수 없게 됩니다. 이는 자원의 절약과 재활용 촉진에 관한 법률 시행에 따른 것으로, 50실 이상의 숙박업소가 대상입니다. 위반 시 300만 원 이하의 과태료가 부과됩니다. 또한, 1세대 1주택 장기 보유자의 재건축 부담금이 최대 70%까지 감면되고, 고령자는 재건축 부담금 납부를 유예할 수 있습니다. 청소년의 신분증 위조·변조 피해를 본 자영업자에 대한 행정처분 면제, 매크로를 이용한 티켓 재판매 금지 등도 포함된 새로운 법령들이 시행됩니다.
이 조치들은 환경 보호와 자원 재활용을 촉진하고, 부동산 시장의 공정성을 높이며, 디지털 플랫폼을 통한 불법 행위를 방지하는 데 목적이 있습니다. 이로 인해 소비자, 사업자, 그리고 시장 전반에 걸쳐 책임감 있는 소비와 투명한 거래가 더욱 강조될 것으로 예상됩니다.
(3) 평가(Good) : 고령자 재건축 부담금 납부를 유예와 같은 구체적인 내용까지 포함되었다. 하지만 아쉽게도 시사점과 요약 부분을 구분해주면 더 좋았을거 같다. (이정도는 프롬프트 엔지니어링으로 보완 가능하다)
claude AI 한국어 검증시험결과 – Bad (속도 빠름)
(1) 1차 시도 : 실패. 인터넷 접속이 안되어서 기사 본문을 함께 제공하였다.
(2) 2차 시도(기사 본문 함께 제공) : 성공
시사점:
-
- 환경보호 측면에서 1회용품 사용 규제는 바람직한 조치이나, 숙박업계의 부담이 가중될 수 있음.
- 장기 보유 1세대 1주택자에 대한 재건축 부담금 감면은 주거 안정성을 높이고 형평성을 제고할 것으로 기대됨.
- PC방 등 자영업자 보호를 위한 예외 조항 마련으로 피해 구제가 가능해질 전망임.
- 매크로 프로그램을 이용한 암표 거래 금지로 입장권 가격 상승 억제 및 공정한 티켓팅이 기대됨.
요약:
3월부터 호텔에서 일회용 칫솔 등을 무상 제공할 수 없게 되며, 위반 시 과태료가 부과됩니다. 1세대 1주택 장기 보유자의 재건축 부담금이 최대 70%까지 감경되고, 고령자에게는 납부 유예 혜택이 주어집니다. 또한 PC방 등 자영업자의 신분증 위조 피해에 대한 구제 조항이 마련되며, 매크로 프로그램을 이용한 암표 거래가 금지됩니다.
(3) 평가(Bad) : 숙박업계의 부담이 가중과 같은 내용은 원본 기사에 없는 내용으로 Gemini와 마찬가지로 환각현상이 나타났다. claude는 요약을 요청하였는데 자기가 나름데로 해석한 의견을 제시하였다. 이는 본문의 내용을 요약해달라는 요구사항에 해당하지 않아 오히려 사용자가 본문의 해당 내용이 있는지 오해할 수 있다. (예시 : 형평성을 제고할 것으로 기대됨.)
perplexity AI 한국어 검증시험결과 – Excellent(매우 빠름)
(1) 1차 시도 : 실패. perplexity의 장점은 인터넷에 있는 다양한 문서에 접근해서 이를 활용하는거다. 그런데 테스트 시점에는 url을 통해 정보를 얻을 수 없다고 한다.
(2) 2차 시도(기사 본문 함께 제공) : 성공
요약 보고서:1. 호텔 일회용품 무상 제공 금지
-
- 3월부터 호텔에서는 일회용 칫솔 등을 무상으로 제공할 수 없게 됨.
- 숙박업소는 50실 이상인 경우 일회용품 사용을 억제하고 무상 제공 금지.
- 위반 시 최대 300만 원 이하의 과태료 부과.
2. 재건축 부담 감경
-
- 1세대 1주택 장기보유자의 재건축 부담금이 최대 70%까지 감면.
- 보유기간에 따라 부담금 감경 비율이 결정됨.
3. 게임산업 및 공연법 개정
-
- 게임산업진흥법 시행령에 따라 신분증 위조·변조 피해를 받은 자영업자는 면제.
- 매크로 프로그램을 통한 공연 입장권 암표 거래 금지.
- 부정판매 시 징역 또는 벌금 처벌.
시사점:
-
- 환경 보호를 위해 일회용품 사용을 줄이고 재활용 촉진 필요.
- 재건축 부담 감경으로 주택 소유자 혜택 확대.
- 게임산업과 공연 분야에서 피해 방지를 위한 법률 개정으로 소비자 보호 강화.
(3) 평가(Excellent) : 글의 구조화가 가장 깔끔하게 만들어졌다. Mistral AI와 같이 원문에서 사용된 단어와 표현을 거의 그대로 가져왔다. 따라서 문장이 상당히 자연스럽게 요약되었다. 또한 문서가 개조식 형태로 마무리된 부분이 인상적이다.
총평
의외로 perplexity가 가장 성능이 좋았다. 이번 평가에서 웹 브라우징 여부 보다는 한글어 능력이 얼마나 뛰어난지를 보는거였으므로 브라우징이 안되는건 그다지 중요하게 판단하지 않았다. Mistral AI Large의 한글어 성능이 좋다는건 참 신기하였다. 최근 Mistral 미스트랄 기반 AI 모델이 라마 2 기반 AI 모델을 대체하고 있다고 하는데 그만큼 Mistral AI 성능은 주목할 만하다. perplexity는 가장 좋았던 것은 바로 속도! 빠른데다가 내용 요약도 개조식 형태로 깔끔하게 나왔다. Gemini는 계속 쓰면서 실망하고 있어서 4월부터는 유료 결제를 하지 않을거 같다;;
평가결과 : perplexity > Mistral AI > Chat GPT 4 >> Gemini(BARD 유료) Advanced > claude
답글 남기기