Серия тестов нейросетей продолжается – на этот раз мы проверили, какая нейросеть справится с переводом с русского языка на английский лучше других. Для большей объективности использовали три варианта текста: рассуждение Раскольникова из романа «Преступление и наказание», отрывок из детектива Дарьи Донцовой и деловое письмо. Оценить результаты мы попросили нашего бывшего сотрудника, Мака Камбоджа, преподавателя английского, испанского и японского языков, для которого английский является родным.
В испытании участвовали:
- ChatGPT
- DeepL
- GigaChat
- YandexGPT
- Bard
- Perplexity AI
- Claude.
Выбыли до начала соревнований:
- CopyMonkey AI – вместо перевода выдавала тот же самый текст на русском;
- Turbotext.pro – специализированный переводчик с ИИ. К сожалению его интерфейс оставляет желать лучшего, работать там, где невозможен перенос строки и весь текст идет монолитным блоком – ужасно.
- Шедеврум – он понимает команду «переведи текст на английский», сохраняет форматирование, но ограничение на 400 символов введенного текста делает работу бессмысленной.
Вот тексты, которые использовали для перевода.
Монолог Раскольникова:
«Старушонка вздор! – думал он горячо и порывисто, – старуха, пожалуй что, и ошибка, не в ней и дело! Старуха была только болезнь… я переступить поскорее хотел… я не человека убил, я принцип убил! Принцип-то я и убил, а переступить-то не переступил, на этой стороне остался… Только и сумел, что убить. Да и того не сумел, оказывается… Эх, эстетическая я вошь, и больше ничего, – прибавил он вдруг рассмеявшись, как помешанный. – Да, я действительно вошь, – продолжал он, с злорадством прицепившись к мысли, роясь в ней, играя и потешаясь ею, – и уж по тому одному, что, во-первых, теперь рассуждаю про то, что я вошь; потому, во-вторых, что целый месяц всеблагое провидение беспокоил, призывая в свидетели, что не для своей, дескать, плоти и похоти предпринимаю, а имею в виду великолепную и приятную цель, – ха-ха! Потому, в-третьих, что возможную справедливость положил наблюдать в исполнении, вес и меру, и арифметику из всех вшей выбрал самую наибесполезнейшую и, убив ее, положил взять у ней ровно столько, сколько мне надо для первого шага, и ни больше ни меньше (а остальное, стало быть, так и пошло бы на монастырь, по духовному завещанию – ха-ха!)… Потому, потому я окончательно вошь, – прибавил он, скрежеща зубами, – потому что сам-то я, может быть, еще сквернее и гаже, чем убитая вошь, и заранее предчувствовал, что скажу себе это уже после того, как убью! Да разве с этаким ужасом что-нибудь может сравниться! О, пошлость! О, подлость!..
Отрывок из из романа «За всеми зайцами» Дарьи Донцовой:
Утро покатилось в повседневных хлопотах. Сначала, бесконечно ноя о тяжелой судьбе младенца, уехала в лицей Маруся. Я с опаской смотрела, как она выкатывает из гаража мотоцикл и напяливает шлем. Охотнее всего запретила бы ей пользоваться этим кошмарным видом транспорта, но что поделаешь, если права на вождение можно получить уже в 14 лет, а площадь перед лицеем забита этими железными конями. Единственное, чего удалось добиться, – оставленный в сумке плеер. Мне всегда казалось, что уши на дороге не следует затыкать. Сегодня Маня собиралась медленнее обычного.
– Ну что ты возишься? – сказала я в сердцах.
– Сейчас, сейчас, – пропыхтела девочка, дергая какие-то ручки, – что-то у этой гадкой машины стали барахлить тормоза.
– Тогда оставь его дома, – испугалась я, – нельзя ездить с неисправными тормозами.
– Да нет, – отмахнулась дочь, – не до такой степени. На днях покажу механику.
Деловое письмо:
Мария, добрый день.
В продолжение нашего общения высылаем вам обещанную информацию.
Для того, чтобы мы могли пригласить вас к нам на собеседование, необходимо выполнить тестовое задание (прикрепляем его к этому письму).
Надеемся получить от вас выполненное ТЗ в течение суток: до 13:00, 14.09.2023. Если появятся какие-либо вопросы, задавайте.
PS:
а) Выполненную работу отправляйте в ответ на ранее отправленное письмо, не прерывая цепочки переписки. Также просьба назвать файл с выполненным ТЗ своими фамилией и именем.
б) Среднее время проверки вашей работы составляет до 3 рабочих дней с момента ее получения.
в) После проверки тестового задания мы вам позвоним, и дадим обратную связь по результатам.
г) В письме с готовой работой просим вас продублировать свой контактный номер телефона, для ускорения обратной связи.
Начнем с простого.
Перевод делового письма с помощью нейросети
ChatGPT:
DeepL
GigaChat
GigaChat внезапно решил адаптировать и имя, и время суток. Выглядит это примерно так:
YandexGPT
Bard
Dear Maria,
Following up on our conversation, we are sending you the promised information.
To be able to invite you to an interview, you must complete a test assignment (attached to this email).
We hope to receive the completed assignment from you within 24 hours: by 1:00 PM, September 14, 2023. If you have any questions, please let us know.
P.S.
a) Please send your completed work as a reply to the previous email, without breaking the chain of communication. Also, please name the file with your completed assignment with your last name and first name.
b) The average time to review your work is up to 3 business days from the date of receipt.
c) After reviewing the test assignment, we will call you and provide feedback on the results.
d) In the email with your completed work, please include your contact phone number again to expedite feedback.
Thank you for your time and consideration.
Sincerely,
[Your name]
Perplexity AI
Claude
1. Dear Maria,
Good day.
Following up on our communication, we are sending you the promised information.
For us to be able to invite you for an interview, it is necessary for you to complete the test assignment (we have attached it to this email).
We hope to receive the completed test assignment from you within 24 hours: by 13:00, September 14, 2023. If you have any questions, please ask.
PS:
a) Please send the completed work in reply to the previous email, without breaking the email chain. Also please name the file with the completed test assignment with your last name and first name.
b) The average time to check your work is up to 3 business days from the moment of receiving it.
c) After checking the test assignment, we will call you and give you feedback on the results.
d) In the email with the completed work, please duplicate your contact phone number to speed up feedback.
Подведем итоги. Лучше всего с переводом делового письма справились нейросети Claude и Perplexity AI.
По словам Мака:
«CLAUDE & PERPLEXITY AI переводят тексты значительно лучше, чем другие платформы. Мы понимаем, что в каждом переводе требуется перефразирование, чтобы точнее передать контекст. Тем не менее оба упомянутых сервиса обеспечивают максимальный результат с точки зрения выражения смысла и контекстного значения».
Перевод отрывка из романа Донцовой
Вот так увидел эту сцену Midjourney.
Ну а ниже переводы нейросетей.
ChatGPT:
DeepL
GigaChat
YandexGPT
Bard
Morning rolled by in its usual hustle and bustle. First, Marusya, whining endlessly about the hardships of being a baby, left for school. I watched with apprehension as she rolled out a motorcycle from the garage and put on a helmet. I would have preferred to forbid her from using this terrible mode of transportation, but what could I do if you could get a driver's license at the age of 14, and the square in front of the school was full of these iron horses? The only thing I managed to achieve was to leave the player in her bag. I've always thought that you shouldn't cover your ears on the road. Today Mani was going to go slower than usual.
"What are you messing around with?" I said in my heart.
"Now, now," the girl puffed, fiddling with some knobs, "something is wrong with the brakes of this damn machine."
"Then leave it at home," I was scared, "you can't drive with faulty brakes."
"No," the daughter waved her hand, "not to that extent. I'll show it to the mechanic in a few days."
Perplexity AI
Claude
The morning rolled on in everyday chores. First, endlessly complaining about the baby's hard fate, Marusya left for the lyceum. I watched apprehensively as she wheeled the motorcycle out of the garage and put on her helmet. I would have preferred to forbid her from using this dreadful form of transport, but what can you do if you can get a license at 14, and the area in front of the lyceum is crammed with these iron horses. The only thing I managed to achieve was leaving the music player in her bag. I always thought one's ears shouldn't be plugged on the road. Today Manya was getting ready more slowly than usual.
"What's taking you so long?" I said impatiently.
"Just a second, just a second," the girl panted, jerking some levers, "for some reason this wretched machine's brakes have started to act up."
"Then leave it at home," I said, frightened, "you can't drive with faulty brakes."
"No, no," my daughter brushed it off, "not to that extent. I'll show it to a mechanic in a few days."
Подводим итоги. Вот мнение эксперта:
«На мой взгляд, Claude достиг высочайшего уровня контекстуального перевода отрывка из романа. Claude не только перевел смысл, но и понял метафорический смысл конкретного текста. Две другие платформы перевода, заслуживающие внимания после Claude, — это Chat GPT и Perplexity AI, которые также выполнили довольно хороший перевод».
Перевод монолога Раскольникова
Хотите увидеть иллюстрацию к словам Раскольникова, который говорит: «Эх, эстетическая я вошь, и больше ничего»? Вот она:
Результат работы ChatGPT
"The old woman is nonsense!" he thought hotly and impetuously. "The old woman, perhaps, is a mistake, it's not about her! The old woman was just an illness... I wanted to transgress more quickly... I didn't kill a person, I killed a principle! I killed the principle, but I didn't transgress, I remained on this side... All I managed to do was kill. And even that I failed at, it turns out... Ah, I'm just an aesthetic louse, and nothing more," he suddenly laughed, as if mad. "Yes, I really am a louse," he continued, clinging maliciously to the thought, delving into it, playing and amusing himself with it. "Firstly, because I'm now reflecting on the fact that I'm a louse; secondly, because I've troubled divine providence for a whole month, calling it as a witness, that I'm not undertaking this for my own flesh and lust, but have a grand and pleasant purpose in mind - ha-ha! Thirdly, because I tasked possible justice to oversee the execution, to weigh and measure, and out of all the lice, chose the most useless one, and having killed it, decided to take from it exactly what I needed for the first step, no more, no less (and the rest, it seems, would have gone to the monastery, as a spiritual bequest - ha-ha!)... So, that's why I am definitively a louse," he added, gritting his teeth, "because I, perhaps, am even more vile and repulsive than the killed louse, and anticipated in advance that I'd tell this to myself after I killed her! Can anything be compared with such a horror! Oh, vulgarity! Oh, baseness!..
Результаты DeepL
GigaChat
Увы, GigaChat с Достоевским не справляется, либо обрывая перевод при приближении к страшному слову «убив», либо зацикливаясь на следующем слове.
YandexGPT оказалось ничуть не лучше, сразу же выдав
Интересно, что ChatGPT без упоминания о Достоевском, тоже уточнял, не содержит ли текст жестокости. Но в комбинации с фамилией писателя все вопросы сразу же были сняты. А отечественная нейросеть, которая, казалось бы, просто обязана знать произведения Федора Михайловича…
Bard
"The old woman is nonsense!" he thought hotly and impulsively. "The old woman, perhaps, is even a mistake, it's not her fault! The old woman was only a disease ... I wanted to cross over quickly ... I didn't kill a person, I killed a principle! I killed the principle, but I didn't cross over, I stayed on this side ... I only managed to kill. And he didn't even manage that, it turns out ... Oh, I'm an aesthetic louse, and that's all," he added, suddenly laughing like a madman. "Yes, I really am a louse," he continued, maliciously clinging to the thought, rummaging in it, playing and amusing himself with it, "and already for the fact that, firstly, now I am reasoning about the fact that I am a louse; because, secondly, that for a whole month I disturbed the all-good providence, calling to witness that not for my own, supposedly, flesh and lust I am undertaking, but I have in mind a magnificent and pleasant goal, - ha-ha! Because, thirdly, that I laid down to observe possible justice in execution, weight and measure, and arithmetic from all lice I chose the most useless one and, having killed her, I decided to take from her exactly as much as I need for the first step, and no more no less (and the rest, therefore, would have gone to the monastery, according to the spiritual will - ha-ha!) ... Because, because I am finally a louse," he added, gritting his teeth, "because I myself, perhaps, am even worse and nastier than the killed louse, and I foresaw in advance that I would say this to myself already after I kill! Can anything be compared with such horror! Oh, vulgarity! Oh, meanness!.."
При этом Bard единственный, кто дал еще и дополнительные комментарии по сделанному переводу
Perplexity AI
Claude
“The old woman is nonsense!” he thought hotly and impetuously, “the old woman was a mistake perhaps, not the point! The old woman was only a sickness...I wanted to step across more quickly...I didn’t kill a person, I killed a principle! That’s what I killed, but I didn’t step across, I stayed on this side...That’s all I managed, to kill. And I didn’t even manage that, it turns out...Oh, what an aesthetic louse I am, nothing more,” he suddenly added, laughing like a madman. “Yes, I really am a louse,” he continued, clinging spitefully to the thought, digging around in it, playing with it and amusing himself with it, “if only because, first, I’m now reasoning about being a louse; secondly, because for a whole month I troubled the all-gracious Providence, calling upon it as a witness that I was not undertaking this for my own flesh and lust, but had a splendid and pleasant goal in view—ha ha! Thirdly, because I undertook to observe possible justice in carrying it out, weight and measure, and chose from all the lice the most useless one arithmetically, and having killed her, decided to take from her exactly as much as I needed for the first step, not more nor less (so the rest would still go to the monastery, according to the spiritual testament—ha ha!)...That’s why, that’s why I’m utterly a louse,” he added, grinding his teeth, “because perhaps I myself am even more loathsome and vile than the louse I killed, and beforehand sensed that I would tell myself this after I killed! For can anything be compared to such horror! Oh, the vulgarity! Oh, the vileness!..”
Итоги. По мнению нашего эксперта, Мака Камбоджа:
«Claude и GigaChat предоставили наиболее подходящий перевод контекста романа, несмотря на наличие поэтических выражений и уникальные фигуры речи, используемые именно в русском языке, которые может быть довольно сложно перевести буквально и метафорически. Мой первый выбор — GIGA CHAT (даже несмотря на то, что он оборвал перевод, – прим. редакции), а второй — Claude. Несмотря на то, что переводы не идеальны, но они ближе остальных приближаются к передаче содержания этого отрывка».
Окончательные итоги
Во всех трех задания очень хорошо проявила себя нейросеть Claude. На втором месте находится Perplexity AI, на третьем – GigaChat и ChatGPT.
Однако, как бы ни были хороши нейросети, создание текстов лучше доверять людям. Это гарантирует не только экспертность авторов, но и соответствие целям бизнеса.
Читайте также:
Отличная замена ChatGPT — нейросеть Claude 2