CRA потратила $18 млн на чат-бота «Чарли», который чаще ошибается, чем помогает
Аудитор Карен Хоган выяснила: налоговый чат-бот CRA по имени Чарли даёт неверные ответы примерно в двух случаях из трёх — точность составила лишь 33%. Тем не менее с 2018 года на его разработку и поддержку ушло более $18 млн, из них почти $14 млн — зарплаты сотрудников, ещё $3,2 млн — контракты с IT-подрядчиками.
Запущенный в 2020 году инструмент должен был облегчить доступ к информации для налогоплательщиков. Но уже в отчёте за октябрь Хоган отметила, что Чарли отвечает коротко, без контекста, а в тестировании верно ответил лишь на две из шести проверочных задач. Для сравнения: публичные ИИ-боты давали пять правильных ответов из шести.
Несмотря на слабый функционал, за годы с ботом начали более семи миллионов диалогов и задали восемнадцать миллионов вопросов. Только весной 2025 года Чарли получил сотни тысяч запросов по личным налогам и онлайн-сервисам CRA. В 2024 году он получил почти 180 тысяч сообщений, классифицированных самими же системами как «болтовня».
Осенью CRA попыталась реанимировать проект. В ноябре Чарли обновили до версии на базе генеративного ИИ — ближе к ChatGPT. Внутреннее тестирование агентства якобы показало около 90% точности, но CRA признаёт, что реальный показатель определить невозможно без полной проверки всех диалогов.
На фоне критики министра финансов Франсуа-Филиппа Шампань CRA представила итоги 100-дневного плана по улучшению сервиса: наняли или продлили контракты 1,2 тысячи операторов кол-центров и модернизировали цифровые инструменты, включая Чарли. Теперь бот, по заявлению агентства, способен отвечать на более сложные вопросы, например по налоговым кредитам и требованиям к отчётности бизнеса.
Тем не менее чиновники уклоняются от вопросов, почему создание столь дорогой системы оказалось оправданным в эпоху, когда аналогичные технологии на рынке становятся всё доступнее. Сам Чарли, когда его спросили о стоимости, лишь сослался на отсутствие контекста и предложил «обратиться в CRA».