Test ChatGPT vs Claude 3: czy Anthropic może pokonać supergwiazdę OpenAI?

Od czasu wprowadzenia ChatGPT na świat ponad 18 miesięcy temu wprowadzono również szereg innych chatbotów. Niektóre okazały się przydatne, ale inne nie tak bardzo. Ale obok Gemini (wcześniej Bard) chatbotem, który okazał się więcej niż konkurencyjny, jest Claude, stworzony przez start-up AI Anthropic.

Utworzyliśmy bezpośrednie porównanie ChatGPT i Claude 3, aby uczcić wprowadzenie Claude 3, rodziny modeli językowych obejmujących Claude 3 Haiku, Claude 3 Sonnet i Claude 3 Opus. Według wspieranej przez Google firmy Anthropic, Claude 3 radzi sobie lepiej niż rodzina modeli językowych GPT, które obsługują ChatGPT w szeregu porównawczych testów poznawczych. W naszych testach odkryliśmy, że Claude jest bardziej elokwentny niż ChatGPT, a jego odpowiedzi są zwykle lepiej napisane i łatwiejsze do odczytania.

Ale jak je porównać obok siebie? Aby się tego dowiedzieć, zadaliśmy ChatGPT i Claude 3 różne pytania, począwszy od zapytań mających na celu przetestowanie podejścia chatbota do pytań etycznych, a skończywszy na generowaniu formuł arkusza kalkulacyjnego.

W tym przewodniku:

• Claude 3 vs ChatGPT: Jaka jest różnica?
• Claude 3 kontra ChatGPT: test bezpośredni
• Claude 3 vs ChatGPT: interfejs użytkownika i doświadczenie użytkownika
• Claude 3 kontra ChatGPT: dane i prywatność
• Korzystanie z Claude 3 i ChatGPT w pracy

Claude 3 vs ChatGPT: Jaka jest różnica?

Claude 3 to nowa rodzina modeli językowych firmy Anthropic, wykorzystywana do obsługi chatbota Claude. Istnieją (przypadkowo) 3 modele: Haiku, Sonnet i Opus. Obecnie Claude Sonnet obsługuje bezpłatną wersję Claude i przetwarza informacje 2 razy szybciej niż Claude 2.1, twierdzi Anthropic.

Z kolei Claude Opus obsługuje wersję pro. Wyniki testów porównawczych Anthropic przedstawione poniżej pokazują, że Claude Opus przewyższa GPT-4, a Claude Sonnet radzi sobie lepiej niż GPT-3.5.

Porównanie Claude 3 z ChatGPT i Gemini w testach porównawczych. Obraz: Antropiczny

Od momentu uruchomienia ChatGPT jest obsługiwany przez różnych członków rodziny modeli językowych GPT. Bezpłatni użytkownicy mają obecnie dostęp do GPT-3.5, podczas gdy GPT-4 obsługuje ChatGPT Plus, który kosztuje 20 dolarów miesięcznie za jedną subskrypcję. Jest to ta sama cena co Claude Pro. Oto kilka kluczowych różnic między oprogramowaniem:

ChatGPT vs Claude 3: Test bezpośredni

Porównaliśmy ChatGPT i Claude'a, zadając im 13 bardzo różnych pytań mających na celu sprawdzenie takich aspektów, jak rozumowanie i przetwarzanie języka naturalnego, ale także tego, jak dobrze radzą sobie z wykonywaniem przydatnych zadań w miejscu pracy, takich jak skanowanie dokumentów w poszukiwaniu informacji i pisanie e-maili .

Odkryłem, że Claude uzyskał lepszą odpowiedź w siedmiu testach, podczas gdy ChatGPT zatriumfował w trzech . Pozostałe cztery (w tym jeden z testów burzy mózgów) zakończyły się remisem, co oznacza, że ​​Claude wygrał ten pojedynek . Oto pełna lista pytań, które zadaliśmy obu chatbotom:

1. Rozumowanie etyczne
2. Tworzenie opisów produktów
3. Pomysły na burzę mózgów (2 testy)
4. Rozumienie języka naturalnego
5. Podsumowanie tekstu
6. Osobiste porady
7. Analiza tekstu
8. Dostarczanie informacji faktycznych
9. Twórcze pisanie
10. Pisanie poematów
11. Zagadki i rozumowanie
12. Tworzenie wiadomości e-mail
13. Tworzenie formuł arkusza kalkulacyjnego

1. Rozumowanie etyczne

Po pierwsze, postawiłem ChatGPT i Claude’owi trudny dylemat etyczny. Wybrałem ten dylemat w szczególności dlatego, że prawidłowa odpowiedź (jeśli taka istnieje) niekoniecznie jest jednoznaczna i prosta:

Mężczyzna wjeżdża samochodem opancerzonym do centrum miasta, chcąc wyrządzić jak najwięcej szkód i wyrządzić jak najwięcej szkód. Z tyłu samochodu ma trzech zakładników jako zakładników. Samochód jest tak dobrze opancerzony, że osoby znajdujące się w środku przeżyją każdą kolizję. Masz jednak możliwość wysadzenia samochodu na odległość za pomocą wyrzutni rakiet. Czy powinieneś wysadzić samochód, zabijając wszystkich w środku, ale ratując bezpośrednie ofiary szaleństwa mężczyzny?

Odpowiedź Claude'a była niezwykle wyczulona na trudności sytuacji i ogólnie zapewniła naprawdę ludzką reakcję. Wydaje się, że rozumie powagę sytuacji – a chatbot brzmiał niemal emocjonalnie, gdy opowiadał o sytuacji. To sprawiało, że wydawało się to bardzo przekonujące.

Z drugiej strony ChatGPT jasno określa różne punkty widzenia i podejścia, jakie możesz przyjąć w danej sytuacji. Przedstawia wiele takich samych rozważań jak Claude i odnosi się do trudności związanych z sytuacją.

Odpowiedź Claude'a była znacznie jaśniejsza i wolę chatboty, które udzielają odpowiedzi w stylu „przeglądu” na trudne dylematy etyczne, ponieważ odpowiedzi te są bardziej pomocne (i mniej niebezpieczne) w służbie aktorom ludzkim niż absolutne osądy.

Najlepsza odpowiedź? Klaudiusz

2. Tworzenie opisów produktów

jeśli prowadzisz sklep internetowy lub po prostu sprzedajesz w Internecie wiele produktów, stworzenie unikalnych i atrakcyjnych opisów produktów dla każdego z nich nie jest łatwym zadaniem. Poprosiłem więc ChatGPT i Claude'a o napisanie opisu produktu dla tego samego produktu – zegara cyfrowego. Oto jak radził sobie Claude:

Skończyło się na tym, że poprosiłem Claude'a o nieco dłuższy opis, ponieważ nie widziałem, żeby pisał tyle opisów produktów, co ChatGPT. I w końcu spisał się naprawdę dobrze – konstrukcja zdania robi wrażenie, a tekst jest naprawdę przekonujący.

Ogólnie rzecz biorąc, opisy produktów wygenerowane przez Claude są lepsze niż ChatGPT. Podobnie jak jego etyczne rozumowanie, brzmi ono o wiele bardziej po ludzku. Jeśli tworzyłeś masowo opisy produktów za pomocą tych dwóch narzędzi, musiałbyś wykonywać znacznie mniej edycji w przypadku opisów wygenerowanych za pomocą Claude.

Najlepsza odpowiedź? Klaudiusz

3. Burza mózgów na pomysły

Następnie wyznaczyłem Claude’owi i ChatGPT dwa zadania burzy mózgów – wymyślenie pomysłów na posty na dwóch bardzo różnych blogach. Pierwszy dotyczy fikcyjnego bloga o wykwintnej kuchni, ponieważ chciałem zobaczyć, jak przydatne są te dwa chatboty do generowania angażujących pomysłów.

Następnie poprosiłem również o kilka pomysłów na blog o zdrowiu psychicznym, aby sprawdzić, czy będą one pasować do „tonu”, ponieważ tego rodzaju treści wymagają poważniejszego i trzeźwszego języka.

Posty na blogu dotyczące dobrego jedzenia

Po raz kolejny Claude wygrywa to zadanie. Zapewnia bardziej w pełni sformułowane tytuły, a jego wyjaśnienia pokazują, że dobrze rozumie, dlaczego odbiorcy mogą chcieć przeczytać sugerowane przez niego posty na blogu. Byłoby to przydatne dla kogoś, kto ma zamiar stworzyć tę treść, ponieważ naprawdę przydatne jest zrozumienie tego rozumowania i zastosowanie go podczas pisania.

ChatGPT tak naprawdę nie pokazuje, że działa w ten sam sposób, ale biorąc wszystko pod uwagę, pomysły są bardziej ogólne. Są znacznie bardziej niejasne niż Claude'a i brzmią, jakby zasugerował je człowiek mający pewne pojęcie o strategii i produkcji treści, a nie chatbot AI.

Najlepsza odpowiedź? Klaudiusz

Posty na blogu o zdrowiu psychicznym

Następnie chciałem sprawdzić, czy oba chatboty potrafią dostosować swój ton i podejście do sugestii, gdy poproszono ich o wygenerowanie postów na blogu na bardziej drażliwy temat, który wymagałby więcej szczerości niż przewodnik po dobrych restauracjach. Oto próba Claude'a:

To wszystko są świetne sugestie i zdecydowanie oddają odpowiedni ton – nie ma tu nic niezwykłego. Jednakże, jak widać na poniższym obrazku, ChatGPT również podsunął nam kilka odpowiednich pomysłów i zapewnił podobny poziom dodatkowych instrukcji, jeśli chodzi o treść. Tutaj naprawdę nie da się ich rozdzielić!

Najlepsza odpowiedź? Krawat

4. Rozumienie języka naturalnego

Następnie chciałem sprawdzić, czy dobrze znane pytanie matematyczne, które opiera się na naszej intuicji matematycznej, nie uruchomi ChatGPT lub Claude.

Matt ma jabłko i banana, które kosztują razem 3,10 dolara. Jabłko kosztuje o 3,00 dolara więcej niż banan. Ile kosztuje banan?

Choć początkowo możesz pomyśleć, że odpowiedzią jest 10 centów, w rzeczywistości jest to tylko pięć centów. Claude był zbyt sprytny, żeby dać się oszukać, i dokładnie wyjaśnił, jak doszło do prawidłowej odpowiedzi:

Nie chcąc się zawstydzić, ChatGPT również wypluł poprawną odpowiedź, co oznacza, że ​​tak naprawdę nic nie oddziela dwóch zawodników wagi ciężkiej w tej rundzie.

Najlepsza odpowiedź? Krawat

5. Tekst podsumowujący

Zarówno ChatGPT, jak i Claude potrafią podsumowywać duże ilości tekstu, wyciągając najważniejsze punkty, dzięki czemu użytkownicy nie muszą czytać całości. Na potrzeby tego testu poprosiłem ich o podsumowanie niedawnego artykułu w Guardianie na temat końcowego orędzia o stanie Unii wygłoszonego przez prezydenta Joe Bidena.

Claude wykonał naprawdę dobrą robotę, utrzymując krótkie i zwięzłe streszczenia:

ChatGPT też są więcej niż zadowalające – ale jeśli mamy je podzielić, muszę powiedzieć, że wolę Claude'a. Nie stara się przeciążać Cię zbyt dużą ilością informacji – co jest ważne, biorąc pod uwagę, że poprosiliśmy o podsumowanie – i po prostu jest lepiej napisana.

Najlepsza odpowiedź? Klaudiusz

6. Porady osobiste

Na potrzeby tego testu chciałam zobaczyć, jak ChatGPT i Claude zareagowali, gdy poproszono ich o udzielenie osobistej rady osobie dotkniętej złym stanem zdrowia psychicznego. Ważne jest, aby tego typu narzędzia mogły w produktywny i odpowiedni sposób reagować na te prośby, zwłaszcza gdy stają się one bardziej zintegrowane z naszym życiem. Oto odpowiedź Claude'a:

To prawdopodobnie najbardziej podobne odpowiedzi udzielone przez te dwa chatboty spośród wszystkich 13 testów, które przeprowadziliśmy. Szczerze mówiąc, trudno winić te reakcje, które rozpoczynają się od sprawdzenia uczuć użytkowników, zanim przejdą do działań, które mogą podjąć.

Obydwa chatboty sugerowały podjęcie bardzo podobnych kroków i tego samego rodzaju kroki, które każda osoba mająca dobre intencje zaproponowałaby znajomemu borykającemu się z problemami określonymi w monicie.

Najlepsza odpowiedź? Krawat

7. Analiza tekstu

To bardzo prosty test sprawdzający, jak dobry chatbot radzi sobie ze skanowaniem tekstu. Na potrzeby tego testu wziąłem fragment artykułu z Harvard Business Review i pięciokrotnie wpisałem w nim słowo „piłka plażowa”. Dodałem także kilka bliskich wariantów (piłki plażowe” i „piłki na plażę”), aby sprawdzić, czy któryś z chatbotów nie będzie zdezorientowany.

Nie po raz pierwszy Claude szaleje, skanując tekst i poprawnie licząc, ile razy użyłem słowa piłka plażowa. W przeciwieństwie do ChatGPT, jeśli wkleisz za dużo tekstu do Claude'a, zostanie on przesłany jako rodzaj „dokumentu”, jak widać na poniższym obrazku:

Niestety, ChatGPT podał błędną odpowiedź – udało mu się zidentyfikować tylko dwa wystąpienia tego słowa, czyli mniej niż połowę całkowitej liczby. Wydaje się, że ChatGPT ma trudności szczególnie z tym rodzajem zadań. Niedawno porównałem to z Gemini i zamieściłem podobne zadanie, ale i tym razem nie udało mi się określić, ile razy dane słowo pojawiło się w bloku tekstu.

Najlepsza odpowiedź? Klaudiusz

8. Podawanie informacji faktycznych

W przypadku tego zadania chciałem sprawdzić, jak dobrze ChatGPT i Claude radzą sobie z udzieleniem odpowiedzi na pytanie, które niekoniecznie jest jednoznaczne, ale nadal opiera się na faktach. Poprosiłem więc ich obu o wyjaśnienie, jak i dlaczego wymarły dinozaury – jest to zjawisko, które ma kilka historycznych i naukowych wyjaśnień oraz czynników.

Po pierwsze, Claude zapewnia naprawdę dobry przegląd teorii i ogólnie przyjętych prawd na temat wyginięcia dinozaurów

Claude ponownie zapewnia niezwykle jasne wyjaśnienie, które zawiera prawie te same informacje, co ChatGPT – po prostu przedstawia je i mówi o nich w lepszy sposób. Odnosi się także do faktu, że dinozaury nie wymarły od razu, a jest to ważny punkt, którego ChatGPT nie uwzględnił.

Najlepsza odpowiedź? Klaudiusz

9. Twórcze pisanie

Kto pisze najlepsze historie, ChatGPT czy Claude? Obydwoje poprosiliśmy o krótką historię zawierającą 300 słów. Claude wstaje pierwszy:

Co dziwne, Claude dostarczył mi krótką historię zawierającą 301 słów, o jedno słowo powyżej określonej liczby słów. Z drugiej strony ChatGPT trzymał się bliżej briefu i, moim zdaniem, napisał nieco lepszą historię.

Muszę dać to ChatGPT, po prostu dlatego, że Claude nie tylko zignorował moje instrukcje, ale także potarł mi nim twarz przed rozpoczęciem historii! Żarty na bok, to dziwne, że zdecydował się przekroczyć bardzo wyraźnie określoną liczbę słów z tak małym marginesem, i to celowo.

Najlepsza odpowiedź? CzatGPT

10. Pisanie wierszy

Zarówno ChatGPT, jak i Claude przyjęli podobną strukturę wierszy, o wygenerowanie których ich poprosiliśmy, i to sprawia, że ​​po raz kolejny naprawdę trudno jest je rozdzielić. Claude zdecydował się na czterowierszowe wersety z rymowanymi kupletami:

I ChatGPT skutecznie zrobił to samo. Oboje trzymali się także bardzo blisko informacji, które podałem w podpowiedzi, więc historie opowiadane w wierszach są również bardzo podobne. Sama szybkość, z jaką te dwa chatboty potrafią tworzyć przekonującą poezję, jest czymś naprawdę imponującym.

Pomimo podobieństw, po kilkukrotnym przeczytaniu obu, zamierzam dać ten Claude – struktura jest nieco bardziej złożona w kilku obszarach i jest więcej ładnych ozdobników i zwrotów.

Najlepsza odpowiedź? Klaudiusz

11. Zagadki i rozumowanie

W tym zadaniu poprosiliśmy dwa chatboty o rozwiązanie zagadki. Claude wstał pierwszy i trafnie udzielił odpowiedzi, wyjaśniając wyraźnie, dlaczego pokojówka jest winna.

ChatGPT również poprawnie rozwiązał zagadkę, więc pod tym względem naprawdę nic ich nie różni.

Najlepsza odpowiedź? Krawat

12. Tworzenie wiadomości e-mail

W tym miejscu poprosiłem ChatGPT i Claude'a o napisanie e-maila do mojego szefa, wyjaśniającego, dlaczego powinienem mieć możliwość przejścia na pracę w pełni zdalną. Claude napisał doskonale nadający się do użytku e-mail, jak widać poniżej:

Jednak ChatGPT brzmi bardziej profesjonalnie i będziesz musiał wykonać znacznie mniej edycji, zanim wyślesz to swojemu szefowi. Claude zagłębia się w stres, jaki rzekomo wywołała u mnie dojazd do pracy, i choć warto o tym wspomnieć, wprowadzenie ChatGPT jest o wiele bardziej dyplomatyczne.

Biorąc pod uwagę, jak blisko odpowiedzi ChatGPT jest gotowy artykuł, muszę ukoronować go zwycięzcą tego.

Najlepsza odpowiedź? CzatGPT

13. Tworzenie formuł arkusza kalkulacyjnego

Na potrzeby tego ostatniego testu poprosiłem ChatGPT i Claude o wygenerowanie dla mnie formuły arkusza kalkulacyjnego. Oto żądanie, które wysłałem:

Kolumna B zawiera zestaw wartości. Chcę dopasować je do odpowiednich wartości w kolumnie E w arkuszu „Filtruj w dół” i przenieść pasujące wartości z kolumny F, G i H w filtrze w dół do bieżącego arkusza za pomocą formuły.

Oto jak radził sobie Claude:

„Claude próbował stworzyć prostą, uniwersalną formułę, która na podstawie miejsca umieszczenia jej w arkuszu ustala, co zrobić, co jest fajne, ale prawdopodobnie nie zadziała tak szybko i, szczerze mówiąc, prawdopodobnie zostanie zepsute” Mówi Matthew Bentley, specjalista od arkuszy kalkulacyjnych Tech.co.

„Nie ma potrzeby nadmiernie komplikować prostych żądań” – kontynuował. „Uważam, że ChatGPT jest lepszy. To całkiem proste żądanie Vlookup i nie wymaga tej dodatkowej formuły dostarczonej przez Claude’a”.

Najlepsza odpowiedź? CzatGPT

Claude 3 kontra ChatGPT: interfejs użytkownika i doświadczenie użytkownika

Oczywiście ChatGPT i Claude są dość łatwe w użyciu, a ich interfejsy wyglądają bardzo podobnie pod względem formatu i struktury. To samo można powiedzieć o Gemini, Perplexity AI i Copilot . Większość tych chatbotów zapewnia płynną i prostą obsługę użytkownika.

Podobają mi się jednak uspokajające tony, które Anthropic wybrał dla Claude'a, ponieważ pasują one do postawy chatbota, który jest może nieco bardziej wyważony niż niektórzy z jego rywali. Z drugiej strony ChatGPT może czasami wydawać się nieco kliniczny ze względu na szarawą kolorystykę. Ogólnie rzecz biorąc, projekt Anthropic jest po prostu odrobinę ładniejszy niż ChatGPT.

Podobnie jak Gemini, Claude generalnie lepiej radzi sobie z formatowaniem swoich odpowiedzi, a ChatGPT nie jest w tym tak dobry (dowiedz się więcej w bezpośredniej rozmowie Gemini vs ChatGPT ). Chociaż widziałem, jak ChatGPT częściej używa nagłówków do dzielenia tekstu, spodobało mi się, jak Claude formatuje swoje odpowiedzi. Kolejną wspaniałą rzeczą, którą zapewnia Claude, jest inny styl czcionki, który jest łatwiejszy do odczytania dla osób z dysleksją.

Jednakże ChatGPT jest całkowicie darmowy i nie ma ograniczeń co do liczby pytań, które możesz zadać – z drugiej strony darmowa wersja Claude zablokuje Cię, jeśli zadasz zbyt wiele pytań i zmusi Cię do odczekania 3-4 godzin przed możesz już pytać. To sprawia, że ​​​​jest mniej odpowiedni dla osób, które chcą chatbota do pracy, ale nie chcą nic płacić.

Claude 3 kontra ChatGPT: dane i prywatność

Claude 3 i ChatGPT traktują swoich użytkowników inaczej. Jeśli obawiasz się o swoją prywatność, ważne jest, aby wiedzieć, co zapisują, przechowują i przeglądają, a czego nie. ChatGPT zastrzega sobie prawo do wykorzystania Twoich danych do uczenia swoich modeli, a Claude robi to samo. Zarówno OpenAI, jak i Anthropic twierdzą, że szyfrują połączenie między swoimi serwerami a użytkownikami od początku do końca, aby zapewnić maksymalne bezpieczeństwo.

Jednakże monity i wyniki użytkowników Claude w wersji biznesowej i korporacyjnej zostaną automatycznie usunięte w ciągu 28 dni od otrzymania lub wygenerowania, chyba że są prawnie zobowiązani do przechowywania ich przez dłuższy czas lub zgodzisz się inaczej. Monity użytkowników indywidualnych zostaną usunięte po 90 dniach, ale jeśli jeden z Twoich monitów zostanie oznaczony jako potencjalnie złośliwy, szkodliwy lub niebezpieczny, może zostać zachowany przez maksymalnie dwa lata.

To, co ChatGPT robi z Twoimi danymi, jest nieco inne. Zasadniczo, jeśli chcesz zapisywać swoje czaty i pozwolić ChatGPT przechowywać je w systemie, zgadzasz się również, że mogą one być wykorzystywane do uczenia modelu i w tym sensie mogą być dostępne dla innych ludzi. Jeśli wyłączysz historię czatów, nie będziesz mógł zapisywać żadnych swoich czatów, ale ChatGPT nie będzie jej używać do uczenia swoich modeli. Żadne dane biznesowe przechowywane w interfejsie API ChatGPT nie są wykorzystywane do szkolenia GPT LLM.

Korzystanie z Chatbotów w pracy

Oczywiście istnieje mnóstwo sposobów, w jakie firmy mogą wykorzystywać ChatGPT i Claude do pracy – w rzeczywistości wspomnieliśmy o kilku z nich w tym artykule. Jeśli jednak regularnie korzystasz z chatbotów w pracy, warto zapoznać się z pewnymi kwestiami.

Na przykład, czy Twoja firma posiada zestaw wytycznych dotyczących korzystania z narzędzi AI ? Jeżeli nie jesteś pewien, powinieneś wyjaśnić to swojemu przełożonemu lub kierownikowi działu. Być może jeszcze tego nie wiesz, ale Twoja firma może mieć rygorystyczne zasady dotyczące typów danych, które możesz wprowadzać do narzędzi innych firm, a być może nawet do narzędzi AI.

Po drugie, musisz zachować otwartość i przejrzystość w zakresie korzystania ze sztucznej inteligencji, szczególnie w kontaktach ze swoim bezpośrednim przełożonym. Trwa debata na temat tego, do jakich zadań warto używać chatbotów AI, a inne osoby w Twojej firmie mogą mieć odmienne wyobrażenie o tym, co jest dla Ciebie akceptowalne. Ponadto większość menedżerów i liderów biznesowych uważa, że ​​przed użyciem narzędzi AI należy uzyskać pozwolenie .

Niezależnie od tego, do jakiego zadania używasz narzędzi AI, pamiętaj, aby sprawdzić ich pracę tak, jakby wykonał ją nowy pracownik. Chociaż narzędzia AI są w większości przypadków przerażająco szybkie i niezwykle dokładne, mogą oczywiście wywoływać halucynacje i dostarczać nieprawidłowych informacji. Więc nie daj się za bardzo ponieść emocjom!