วิธีตรวจสอบคำตอบจาก AI

ทำไมคำตอบที่ดูมั่นใจจึงยังผิดได้

มนุษย์มักประเมินความน่าเชื่อถือจากรูปแบบการนำเสนอ

คำตอบที่จัดโครงสร้างดีทำให้เรารู้สึกว่าน่าเชื่อถือ ตัวเลขที่เฉพาะเจาะจงทำให้เรารู้สึกว่าแม่นยำ และภาษาที่เป็นมืออาชีพทำให้เรารู้สึกว่าผู้ตอบมีความเชี่ยวชาญ

AI สามารถสร้างทั้งสามอย่างได้ แม้ข้อมูลบางส่วนจะไม่ถูกต้องหรือไม่ครบถ้วน

ปัญหาที่พบได้บ่อย ได้แก่

• ใช้ข้อมูลเก่าแต่เขียนเหมือนเป็นข้อมูลปัจจุบัน
• ระบุชื่อองค์กรจริงแต่เชื่อมโยงกับนโยบายที่ไม่ถูกต้อง
• สร้างคำพูดอ้างอิงหรือแหล่งข้อมูลที่ไม่มีอยู่จริง
• คำนวณผิดแต่ผลลัพธ์ดูสมเหตุสมผล
• สรุปโดยไม่กล่าวถึงข้อยกเว้นที่สำคัญ
• ให้คำแนะนำจากสมมติฐานที่ผู้ใช้ไม่เคยระบุ

สิ่งเหล่านี้ไม่ได้หมายความว่า AI ไม่มีประโยชน์ แต่หมายความว่าบทบาทของเราต้องเปลี่ยน

เราไม่ใช่เพียงผู้รับคำตอบ แต่เป็นบรรณาธิการ ผู้ตรวจสอบ และผู้ตัดสินใจขั้นสุดท้าย

การตรวจสอบ 3 ระดับ

คำตอบทุกประเภทไม่จำเป็นต้องใช้ความเข้มข้นในการตรวจสอบเท่ากัน

ระดับ 1 — ผลกระทบต่ำ

ตัวอย่าง เช่น คิดชื่อการประชุม ปรับข้อความทักทาย หรือสร้างรายการตรวจสอบภายในที่ไม่เกี่ยวข้องกับข้อมูลสำคัญ

โดยทั่วไป การอ่านทบทวนอย่างรวดเร็วก็เพียงพอ ตรวจว่าคำตอบตรงกับวัตถุประสงค์ ไม่มีเนื้อหาที่ไม่เหมาะสม และไม่มีข้อมูลลับปะปนอยู่

ระดับ 2 — ผลกระทบปานกลาง

ตัวอย่าง เช่น สไลด์สำหรับลูกค้า รายงานผู้บริหาร เอกสารฝึกอบรม ข้อเสนอแนะด้านการปฏิบัติงาน หรือโพสต์สาธารณะ

ควรตรวจข้อเท็จจริง ชื่อ วันที่ ตัวเลข และแหล่งข้อมูล หากเป็นเรื่องนอกเหนือจากความเชี่ยวชาญของเรา ควรให้ผู้รู้หรือเจ้าของเรื่องช่วยทบทวน

ระดับ 3 — ผลกระทบสูง

ตัวอย่าง เช่น กฎหมาย การแพทย์ การเงิน การจ้างงาน ความปลอดภัย การปฏิบัติตามข้อกำหนด สเปกผลิตภัณฑ์ หรือข้อความสาธารณะที่อาจกระทบความน่าเชื่อถือขององค์กร

AI ต้องไม่เป็นผู้มีอำนาจตัดสินใจขั้นสุดท้าย ต้องใช้แหล่งข้อมูลปฐมภูมิที่เป็นปัจจุบัน และต้องมีผู้เชี่ยวชาญหรือผู้รับผิดชอบตรวจสอบ พร้อมบันทึกวิธีการยืนยันข้อมูล

ยิ่งผลกระทบสูง หลักฐานที่ใช้ต้องยิ่งแข็งแรง

กระบวนการ V.E.R.I.F.Y.

เราไม่จำเป็นต้องตรวจสอบทุกประโยคเหมือนนักสืบ ให้เริ่มจากข้อความสำคัญที่สุดและข้อความที่มีความเสี่ยงสูงหากผิด

V — Verify the source: ตรวจสอบแหล่งข้อมูล

ถามว่า ข้อมูลนี้มาจากไหน

เมื่อ AI ระบุแหล่งข้อมูล ต้องตรวจว่าแหล่งนั้นมีอยู่จริง และสนับสนุนข้อความดังกล่าวจริงหรือไม่ ควรเปิดเอกสารต้นฉบับ ไม่ควรเชื่อเพียงชื่อเรื่อง ข้อความตัวอย่าง หรือคำสรุปจาก AI

ควรให้ความสำคัญกับแหล่งข้อมูลปฐมภูมิ เช่น หน่วยงานทางการ กฎหมาย มาตรฐาน รายงานบริษัท คู่มือผลิตภัณฑ์ งานวิจัยต้นฉบับ และข้อมูลจากองค์กรที่รับผิดชอบโดยตรง

แหล่งข้อมูลอาจมีอยู่จริง แต่ไม่ได้หมายความว่าจะรองรับข้อสรุปที่ AI เขียนเสมอไป

E — Examine the logic: ตรวจสอบตรรกะ

อ่านเหตุผลตั้งแต่ต้นจนจบ

ข้อสรุปเกิดจากหลักฐานจริงหรือไม่ มีการนำเรื่องสองเรื่องที่ต่างกันมารวมกันหรือไม่ มีการสรุปว่าเหตุการณ์หนึ่งเป็นสาเหตุของอีกเหตุการณ์เพียงเพราะเกิดพร้อมกันหรือไม่ และมีการนำแนวปฏิบัติจากประเทศ อุตสาหกรรม หรือบริษัทหนึ่งไปใช้กับอีกแห่งโดยไม่มีเงื่อนไขหรือไม่

Prompt ที่ช่วยได้คือ

“ระบุสมมติฐานทั้งหมดที่อยู่เบื้องหลังคำแนะนำนี้ และอธิบายว่าเงื่อนไขใดจะทำให้คำแนะนำนี้ใช้ไม่ได้”

R — Review names, dates, and numbers: ตรวจชื่อ วันที่ และตัวเลข

รายละเอียดเล็ก ๆ สามารถทำให้เกิดข้อผิดพลาดใหญ่ได้

ควรตรวจชื่อบุคคล ตำแหน่ง วันที่ ราคา เปอร์เซ็นต์ หน่วย สกุลเงิน รุ่นผลิตภัณฑ์ เขตอำนาจทางกฎหมาย และตัวเลขที่นำมาใช้คำนวณ

หากเป็นการคำนวณ ควรทำซ้ำในเครื่องคิดเลขหรือ Spreadsheet และตรวจสมมติฐานแต่ละตัว แม้ AI จะแสดงขั้นตอน ก็ไม่ได้หมายความว่าทุกขั้นตอนถูกต้อง

I — Identify gaps and uncertainty: ระบุสิ่งที่ขาดและความไม่แน่นอน

ถามว่ายังขาดข้อมูลอะไร

การวิเคราะห์ที่ดีควรบอกข้อจำกัด ความไม่แน่นอน และคำอธิบายทางเลือก หาก AI ตอบเรื่องซับซ้อนอย่างมั่นใจเต็มร้อย ให้ถามว่า

“ข้อมูลสำคัญใดที่ยังขาดอยู่ และส่วนใดของคำตอบนี้มีความไม่แน่นอนมากที่สุด”

ตรวจหาบริบทที่ขาดหาย ข้อยกเว้น หลักฐานที่ไม่เห็นด้วย และข้อมูลที่อาจเปลี่ยนไปตามเวลา

F — Find a second source: หาแหล่งยืนยันอิสระ

อย่าตรวจสอบคำตอบด้วยการถาม AI ตัวเดิมด้วยคำถามเดิมอีกครั้งเท่านั้น

ควรหาแหล่งข้อมูลที่เป็นอิสระ เช่น ข้อมูลบริษัทให้ตรวจจากบริษัท ข้อกำหนดให้ตรวจจากหน่วยงานผู้รับผิดชอบ งานวิจัยให้ค้นเอกสารต้นฉบับ และข้อมูลภายในให้ตรวจจากระบบหลักหรือเจ้าของข้อมูล

การยืนยันจากแหล่งที่สองมีความสำคัญมาก โดยเฉพาะเมื่อคำตอบกระทบเงิน คน ความปลอดภัย ชื่อเสียง หรือการปฏิบัติตามข้อกำหนด

Y — You make the final decision: คุณเป็นผู้ตัดสินใจ

AI สามารถช่วยร่าง เปรียบเทียบ สรุป และตั้งคำถามต่อข้อมูลได้

แต่ AI ไม่สามารถรับผิดชอบผลจากการตัดสินใจแทนเรา

ก่อนนำคำตอบไปใช้ ต้องถามว่าหลักฐานมีความแข็งแรงเพียงพอกับผลกระทบหรือไม่ หากยังไม่เพียงพอ ควรหยุด ขอความเห็นจากผู้รับผิดชอบ หรือรวบรวมข้อมูลเพิ่มเติม

การตัดสินใจขั้นสุดท้ายโดยมนุษย์ไม่ใช่จุดอ่อนของกระบวนการทำงานกับ AI แต่เป็นทักษะวิชาชีพที่ทำให้กระบวนการนั้นปลอดภัย

V — Verifyยืนยันว่าแหล่งข้อมูลมีจริงและรองรับข้อความ

E — Examineตรวจว่าตรรกะสอดคล้องกับหลักฐาน

R — Reviewตรวจชื่อ วันที่ หน่วย และตัวเลขซ้ำ

I — Identifyระบุสิ่งที่ขาด สมมติฐาน และความไม่แน่นอน

F — Findหาแหล่งอิสระหรือผู้รับผิดชอบมายืนยัน

Y — You decideตัดสินใจตามคุณภาพหลักฐานและผลกระทบ

ตัวอย่างในที่ทำงาน: สไลด์สำหรับผู้บริหาร

สมมติว่า AI เขียนว่า

“บริษัทที่ใช้ผู้ช่วย AI สามารถเพิ่ม Productivity ได้ 40 เปอร์เซ็นต์”

ประโยคนี้น่าสนใจและดูดีบนสไลด์ แต่ก่อนใช้ต้องผ่าน V.E.R.I.F.Y.

• Verify: มีงานวิจัยที่ค้นหาและตรวจสอบได้จริงหรือไม่
• Examine: งานวิจัยนั้นนิยามคำว่า Productivity อย่างไร
• Review: ตัวเลขคือ 40 เปอร์เซ็นต์จริง หรือเป็น 14 เปอร์เซ็นต์ หรือเป็นผลเฉพาะงานบางประเภท
• Identify: ศึกษาในอุตสาหกรรมและตำแหน่งงานใด
• Find: มีแหล่งข้อมูลอิสระยืนยันหรือไม่
• You decide: หลักฐานเพียงพอสำหรับนำเสนอในที่สาธารณะหรือไม่

ข้อความสุดท้ายอาจต้องปรับให้ระมัดระวังและตรงกับหลักฐานมากขึ้น เช่น

“งานวิจัยบางส่วนพบว่า AI สามารถเพิ่มประสิทธิภาพในงานบางประเภทได้ เมื่อมีการใช้งานและตรวจสอบโดยมนุษย์อย่างเหมาะสม”

อาจฟังดูไม่หวือหวา แต่มีความน่าเชื่อถือมากกว่า

ตัวอย่างตัวเลข: Spreadsheet ที่ช่วยได้แต่ยังผิดได้

สมมติว่าเราขอให้ AI คำนวณผลประหยัดต่อปีจากการลดเวลาของกระบวนการได้ 6 นาทีต่อชิ้น

คำตอบจะขึ้นอยู่กับข้อมูลหลายอย่าง ได้แก่

• จำนวนชิ้นต่อวัน
• จำนวนวันทำงานต่อปี
• ต้นทุนแรงงานหรือเครื่องจักรต่อนาที
• เวลา 6 นาทีถูกลดออกจริงหรือเพียงย้ายไปขั้นตอนอื่น
• เป็น Cash Saving หรือเป็น Capacity ที่เพิ่มขึ้น
• รวมต้นทุนในการดำเนินโครงการแล้วหรือยัง

แม้สูตรคูณจะถูกต้อง แต่ข้อสรุปทางธุรกิจอาจทำให้เข้าใจผิดได้ หากสมมติฐานไม่ถูกต้อง

ให้ AI สร้างตารางสมมติฐาน จากนั้นให้เจ้าของกระบวนการและฝ่ายการเงินตรวจข้อมูลทุกตัว

ตัวอย่างโรงงาน: คำแนะนำด้านการบำรุงรักษา

วิศวกรถาม AI ว่าทำไมเครื่องจักรร้อนเกินไป AI แนะนำให้เปลี่ยนพัดลมระบายความร้อน

คำแนะนำนี้อาจดูสมเหตุสมผล แต่ต้องไม่ใช้แทนกระบวนการแก้ไขปัญหาที่ปลอดภัย

ทีมควรตรวจคู่มือที่อนุมัติ Alarm ประวัติการซ่อมบำรุง ความแม่นยำของ Sensor การอุดตันของทางลม สภาพแวดล้อม และขั้นตอน Lockout/Tagout โดยผู้มีคุณสมบัติต้องเป็นผู้ตัดสินใจ

AI ช่วยจัดรายการสาเหตุที่เป็นไปได้ แต่ต้องไม่กลายเป็นผู้มีอำนาจด้านการบำรุงรักษาที่ไม่ได้รับการตรวจสอบ

Tomorrow's Question

การตรวจสอบช่วยปกป้องคุณภาพของงาน

แต่ข้อมูลที่เราใส่เข้าไปใน AI ควรได้รับการปกป้องอย่างไร

Issue ถัดไป: Issue #007 — วิธีปกป้องข้อมูลเมื่อใช้ AI