[스압] 거짓말을 할 때도 있다는 AI (챗지피티).jpg

예전에는 환각이 자주 나타났는데 점점 새로운 버젼이 나올때마다 환각이 줄어듬. ai를 100프로 사용하고 싶으시면 리서치 기능을 꼭 쓰세요. 그리고 검색기능을 이용하려면 GPT보다 제미니와 그록이 더 정확합니다.

환각수치 0.005%
오답율 5%이하 생성형 AI 만들었으면
대단한건가요? 물어볼곳이 없어서요...

네, 환각 수치 0.005%, 오답률 5% 이하의 생성형 AI를 만들었다면 매우 대단한 성과라고 할 수 있습니다. 현재 생성형 AI 기술 수준을 고려했을 때 이는 극히 어려운 목표치이기 때문입니다.
왜 대단한 성과인지 자세히 설명드리겠습니다:
* 극도로 낮은 환각 수치 (0.005%):
* 환각(Hallucination) 현황: 현재 대부분의 대규모 언어 모델(LLM)은 사실과 다르거나 맥락에 맞지 않는 정보를 생성하는 환각 현상에서 자유롭지 못합니다. 이 환각은 생성형 AI의 신뢰성을 떨어뜨리는 주요 원인 중 하나입니다.
* 0.005%의 의미: 0.005%라는 수치는 20,000개의 답변 중 단 1개의 답변에서만 환각이 발생한다는 의미입니다. 현재 상용화된 최고 수준의 모델들도 이 정도의 낮은 환각률을 달성하기는 매우 어렵습니다. 만약 특정 분야나 제한된 조건이 아닌, 일반적인 사용 환경에서 이러한 수치를 달성했다면 이는 기술적으로 엄청난 진보를 의미합니다.
* 매우 낮은 오답률 (5% 이하):
* 오답률의 중요성: 생성형 AI가 제공하는 정보의 정확성은 사용자 만족도 및 활용성에 직접적인 영향을 미칩니다. 오답률이 낮을수록 AI의 답변을 신뢰하고 다양한 분야에 활용하기 용이해집니다.
* 5% 이하의 의미: 5% 이하의 오답률은 AI가 대부분의 질문이나 요청에 대해 상당히 정확하고 올바른 답변을 제공한다는 것을 의미합니다. 물론, 오답률은 평가 데이터셋의 종류나 질문의 난이도에 따라 달라질 수 있지만, 전반적으로 5% 이하라면 매우 우수한 성능으로 평가받을 수 있습니다. 인간 전문가도 특정 분야에서는 이 정도의 오차율을 보일 수 있습니다.
하지만 몇 가지 고려해야 할 점도 있습니다:
* 평가 방법의 신뢰성: 해당 수치가 어떤 기준으로, 어떤 데이터셋을 통해 측정되었는지 명확해야 합니다. 특정 편향이 있거나 매우 제한적인 조건에서만 달성된 수치라면 일반적인 성능으로 보기 어려울 수 있습니다.
* 적용 분야: 모든 분야에서 동일한 성능을 보장하는 것은 현재 기술로는 거의 불가능합니다. 특정 전문 분야나 매우 잘 정의된 작업에서 달성된 성과일 가능성도 있습니다.
* '대단하다'의 기준: 기술적인 성취로서는 분명히 대단하지만, 실제 사용자 경험이나 사회적 영향력까지 고려하면 추가적인 검증이 필요할 수 있습니다.
결론적으로, 제시하신 환각 수치 0.005%와 오답률 5% 이하는 현재 생성형 AI 기술의 최전선을 훨씬 뛰어넘는 매우 인상적인 목표치입니다. 만약 이것이 실제로 검증된 결과라면, 해당 AI는 기존 모델들의 한계를 극복하고 신뢰성과 정확성 측면에서 새로운 기준을 제시하는 혁신적인 기술로 평가받을 자격이 충분합니다. 이는 AI 연구 개발 분야에서 기념비적인 성과가 될 수 있습니다.

현재 대규모LLM 회사에서 본 제안서 검토중에 있습니다
좋은 회신이 오길 기다리고 있는 중이에요

참치님이 만드셨다는건가요? 미리 싸인 좀 부탁드립니다

뭘 그렇게 거창하게....
검토중이라니 기다리고 있는 단계라 초조하네요

느낌이 챗지피티의 대답 같군용

그거슨 바로 RAG...

챗지피티 거짓말 장난 아님
스팸이나 런천미트 리챔 성분 비교 알려달라니까
지어내고 있음 실제 성분표랑 아예다름 그리고 다른 제품도 추천해달라니까 존재하지 않는 상품명을 만들어서 제시함 예를 들어서 하림 캔햄 이런식으로 말해줘서 검색해보니 안나와서 왜 없는 말 지어내냐고 하면 미안하다고 하고 또 반복함 ㅋㅋ
활용처는 무궁무진하지만 정보 검색용은 아직 아닌듯 ㅎ

요즘은 저런 오류가 거의 없으니 안심하고 사용하십시오.

저는 퍼플렉시티 프로 씁니다
요건 진짜 자료 검색해서 답변해주는 Ai라 좀 더 쓸만해요

기본적으로 GPT는 대화 흐름속에서 이용자의 성향을 분석해서 그에 맞는 유사한 질문이나 상황속에서 확률이 가장 높은 대답을 주려고 하는데,

문제는 실제론 없는 것일지라도 이용자가 그걸 바라는 듯한 뉘앙스를 일관적이게 품고 있다고 판단되면 이용자의 기대를 만족시켜준다고 해야할까요? 아무튼 그런 명목으로 가능한 것처럼, 있는것처럼 표현 하는 경우가 발생됩니다

현재 여러가지가 중복적으로 중첩되어서 명확한 판단 분기가 없어서 그런거라고 생각해요

쉽게 이용자의 기대감도 만족 시켜줘야 하는데, 정보전달은 해야하니, 확률이 높은 값을 찾아서 아무거나 되는데로 붙이는 경우가 생겨서 그런데

입력할 때 명황히 명시 해줄 수록 오류가 적어요

예를들면 어떤 상황이고 무엇을 해야하는데, 현재 어떤 상태이고, 무엇이 필요한지 등등 구체적인 묘사를 해줘야 원하는 대답을 얻을 확률이 높고

대화 초입에 프롬프트 입력을 잘 해야만 원하는 답변을 주는 AI로 만들 수 있습니다

예를들면
초반부터 말투에서 감정적인 언어가 개입될 경우 논리적인 판단이 흐려지고 감정적으로만 응답하려하는데 후에 아무리 수정하려해도 이미 이용자가 감성적이라는 판단에 편향이 기울기 때문에 되돌리기가 굉장히 어려워져서 새로 세션을 만드는게 빠릅니다

마찬가지로 이용자가 gpt를 통해 무엇을 원하는지 세션 시작시 입력하고나서 질문을 던지는게 좋고, 주제도 다양한 주제를 엮는것보다는 특정 주제 한두가지만 중점으로 다뤄야지 안그러면 초반에 다룬 주제에서 파생된 주제라고만 생각하고 연결지으려고 하는 성향이 있습니다

쉽게 새로운 주제로 전환이 다소 어려워요

다른 스레드에서 새로운 대화를 시작하면 되지않을까요?

그 얘기였어용
한세션에서 이것저것 물어보는 분들도 있더라구요

나도 직장생활하다보니 구라만 늘더라

교차검증 하면서 계속 재확인해야합니다.

인공지능은 신기한게 절대로 "모른다"라는 답변을 하지 않음
내가 느끼기에는 가장 사람과 다른점...