Build a BPE tokenizer

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22Build%20a%20BPE%20tokenizer%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20import%20html%20as%20_html_mod%0A%0A%20%20%20%20_PALETTE%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22%23dbeafe%22%2C%20%22%23dcfce7%22%2C%20%22%23fef9c3%22%2C%20%22%23fce7f3%22%2C%0A%20%20%20%20%20%20%20%20%22%23e0e7ff%22%2C%20%22%23f3e8ff%22%2C%20%22%23fee2e2%22%2C%20%22%23d1fae5%22%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20def%20show_tokens(tokens)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Render%20a%20list%20of%20string%20tokens%20as%20colored%20pills.%22%22%22%0A%20%20%20%20%20%20%20%20spans%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cspan%20style%3D%22display%3Ainline-block%3Bmargin%3A2px%3Bpadding%3A2px%208px%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22border-radius%3A6px%3Bbackground%3A%7B_PALETTE%5Bi%20%25%20len(_PALETTE)%5D%7D%3B%22%0A%20%20%20%20%20%20%20%20%20%20%20%20'color%3A%23111827%3Bfont-family%3Amonospace%3Bfont-size%3A0.9em%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'white-space%3Apre%3B%22%3E%7B_html_mod.escape(tok)%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2C%20tok%20in%20enumerate(tokens)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.Html(f'%3Cdiv%20style%3D%22line-height%3A2%22%3E%7Bspans%7D%3C%2Fdiv%3E')%0A%0A%20%20%20%20return%20(show_tokens%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20PAN_TADEUSZ%20%3D%20%22%22%22Litwo!%20Ojczyzno%20moja!%20ty%20jeste%C5%9B%20jak%20zdrowie%3A%0A%20%20%20%20Ile%20ci%C4%99%20trzeba%20ceni%C4%87%2C%20ten%20tylko%20si%C4%99%20dowie%2C%0A%20%20%20%20Kto%20ci%C4%99%20straci%C5%82.%20Dzi%C5%9B%20pi%C4%99kno%C5%9B%C4%87%20tw%C4%85%20w%20ca%C5%82ej%20ozdobie%0A%20%20%20%20Widz%C4%99%20i%20opisuj%C4%99%2C%20bo%20t%C4%99skni%C4%99%20po%20tobie.%0A%0A%20%20%20%20Panno%20%C5%9Bwi%C4%99ta%2C%20co%20Jasnej%20bronisz%20Cz%C4%99stochowy%0A%20%20%20%20I%20w%20Ostrej%20%C5%9Bwiecisz%20Bramie!%20Ty%2C%20co%20gr%C3%B3d%20zamkowy%0A%20%20%20%20Nowogr%C3%B3dzki%20ochraniasz%20z%20jego%20wiernym%20ludem!%0A%20%20%20%20Jak%20mnie%20dziecko%20do%20zdrowia%20powr%C3%B3ci%C5%82a%C5%9B%20cudem%0A%20%20%20%20(Gdy%20od%20p%C5%82acz%C4%85cej%20matki%2C%20pod%20Twoj%C4%85%20opiek%C4%99%0A%20%20%20%20Ofiarowany%2C%20martw%C4%85%20podnios%C5%82em%20powiek%C4%99%3B%0A%20%20%20%20I%20zaraz%20mog%C5%82em%20pieszo%2C%20do%20Twych%20%C5%9Bwi%C4%85ty%C5%84%20progu%0A%20%20%20%20I%C5%9B%C4%87%20za%20wr%C3%B3cone%20%C5%BCycie%20podzi%C4%99kowa%C4%87%20Bogu)%2C%0A%20%20%20%20Tak%20nas%20powr%C3%B3cisz%20cudem%20na%20Ojczyzny%20%C5%82ono.%0A%20%20%20%20Tymczasem%20przeno%C5%9B%20moj%C4%85%20dusz%C4%99%20ut%C4%99sknion%C4%85%0A%20%20%20%20Do%20tych%20pag%C3%B3rk%C3%B3w%20le%C5%9Bnych%2C%20do%20tych%20%C5%82%C4%85k%20zielonych%2C%0A%20%20%20%20Szeroko%20nad%20b%C5%82%C4%99kitnym%20Niemnem%20rozci%C4%85gnionych%3B%0A%20%20%20%20Do%20tych%20p%C3%B3l%20malowanych%20zbo%C5%BCem%20rozmaitem%2C%0A%20%20%20%20Wyz%C5%82acanych%20pszenic%C4%85%2C%20posrebrzanych%20%C5%BCytem%3B%0A%20%20%20%20Gdzie%20bursztynowy%20%C5%9Bwierzop%2C%20gryka%20jak%20%C5%9Bnieg%20bia%C5%82a%2C%0A%20%20%20%20Gdzie%20panie%C5%84skim%20rumie%C5%84cem%20dzi%C4%99cielina%20pa%C5%82a%2C%0A%20%20%20%20A%20wszystko%20przepasane%20jakby%20wst%C4%99g%C4%85%2C%20miedz%C4%85%0A%20%20%20%20Zielon%C4%85%2C%20na%20niej%20z%20rzadka%20ciche%20grusze%20siedz%C4%85.%0A%0A%20%20%20%20%C5%9Ar%C3%B3d%20takich%20p%C3%B3l%20przed%20laty%2C%20nad%20brzegiem%20ruczaju%2C%0A%20%20%20%20Na%20pag%C3%B3rku%20niewielkim%2C%20we%20brzozowym%20gaju%2C%0A%20%20%20%20Sta%C5%82%20dw%C3%B3r%20szlachecki%2C%20z%20drzewa%2C%20lecz%20podmurowany%3B%0A%20%20%20%20%C5%9Awieci%C5%82y%20si%C4%99%20z%20daleka%20pobielane%20%C5%9Bciany%2C%0A%20%20%20%20Tym%20bielsze%2C%20%C5%BCe%20odbite%20od%20ciemnej%20zieleni%0A%20%20%20%20Topoli%2C%20co%20go%20broni%C4%85%20od%20wiatr%C3%B3w%20jesieni.%0A%20%20%20%20Dom%20mieszkalny%20niewielki%2C%20lecz%20zewsz%C4%85d%20ch%C4%99dogi%2C%0A%20%20%20%20I%20stodo%C5%82%C4%99%20mia%C5%82%20wielk%C4%85%2C%20i%20przy%20niej%20trzy%20stogi%0A%20%20%20%20U%C5%BC%C4%85tku%2C%20co%20pod%20strzech%C4%85%20zmie%C5%9Bci%C4%87%20si%C4%99%20nie%20mo%C5%BCe.%0A%20%20%20%20Wida%C4%87%2C%20%C5%BCe%20okolica%20obfita%20we%20zbo%C5%BCe%2C%0A%20%20%20%20I%20wida%C4%87%20z%20liczby%20kopic%2C%20co%20wzd%C5%82u%C5%BC%20i%20wszerz%20smug%C3%B3w%0A%20%20%20%20%C5%9Awiec%C4%85%20g%C4%99sto%20jak%20gwiazdy%2C%20wida%C4%87%20z%20liczby%20p%C5%82ug%C3%B3w%0A%20%20%20%20Orz%C4%85cych%20wcze%C5%9Bnie%20%C5%82any%20ogromne%20ugoru%2C%0A%20%20%20%20Czarnoziemne%2C%20zapewne%20nale%C5%BCne%20do%20dworu%2C%0A%20%20%20%20Uprawne%20dobrze%20na%20kszta%C5%82t%20ogrodowych%20grz%C4%85dek%3A%0A%20%20%20%20%C5%BBe%20w%20tym%20domu%20dostatek%20mieszka%20i%20porz%C4%85dek.%0A%20%20%20%20Brama%20na%20wci%C4%85%C5%BC%20otwarta%20przechodniom%20og%C5%82asza%2C%0A%20%20%20%20%C5%BBe%20go%C5%9Bcinna%2C%20i%20wszystkich%20w%20go%C5%9Bcin%C4%99%20zaprasza.%0A%0A%20%20%20%20W%C5%82a%C5%9Bnie%20dwukonn%C4%85%20bryk%C4%85%20wjecha%C5%82%20m%C5%82ody%20panek%0A%20%20%20%20I%20obieg%C5%82szy%20dziedziniec%20zawr%C3%B3ci%C5%82%20przed%20ganek.%0A%20%20%20%20Wysiad%C5%82%20z%20powozu%3B%20konie%20porzucone%20same%2C%0A%20%20%20%20Szczypi%C4%85c%20traw%C4%99%20ci%C4%85gn%C4%99%C5%82y%20powoli%20pod%20bram%C4%99.%0A%20%20%20%20We%20dworze%20pusto%3A%20bo%20drzwi%20od%20ganku%20zamkni%C4%99to%0A%20%20%20%20Zaszczepkami%20i%20ko%C5%82kiem%20zaszczepki%20przetkni%C4%99to.%0A%20%20%20%20Podr%C3%B3%C5%BCny%20do%20folwarku%20nie%20bieg%C5%82%20s%C5%82ug%20zapyta%C4%87%2C%0A%20%20%20%20Odemkn%C4%85%C5%82%2C%20wbieg%C5%82%20do%20domu%2C%20pragn%C4%85%C5%82%20go%20powita%C4%87.%0A%20%20%20%20Dawno%20domu%20nie%20widzia%C5%82%2C%20bo%20w%20dalekim%20mie%C5%9Bcie%0A%20%20%20%20Ko%C5%84czy%C5%82%20nauki%2C%20ko%C5%84ca%20doczeka%C5%82%20nareszcie.%0A%20%20%20%20Wbiega%20i%20okiem%20chciwie%20%C5%9Bciany%20starodawne%0A%20%20%20%20Ogl%C4%85da%20czule%2C%20jako%20swe%20znajome%20dawne.%0A%20%20%20%20Te%C5%BC%20same%20widzi%20sprz%C4%99ty%2C%20te%C5%BC%20same%20obicia%2C%0A%20%20%20%20Z%20kt%C3%B3rymi%20si%C4%99%20zabawia%C4%87%20lubi%C5%82%20od%20powicia%2C%0A%20%20%20%20Lecz%20mniej%20wielkie%2C%20mniej%20pi%C4%99kne%20ni%C5%BC%20si%C4%99%20dawniej%20zda%C5%82y.%0A%20%20%20%20I%20te%C5%BC%20same%20portrety%20na%20%C5%9Bcianach%20wisia%C5%82y%3A%0A%20%20%20%20Tu%20Ko%C5%9Bciuszko%20w%20czamarce%20krakowskiej%2C%20z%20oczyma%0A%20%20%20%20Podniesionymi%20w%20niebo%2C%20miecz%20obur%C4%85cz%20trzyma%3B%0A%20%20%20%20Takim%20by%C5%82%2C%20gdy%20przysi%C4%99ga%C5%82%20na%20stopniach%20o%C5%82tarz%C3%B3w%2C%0A%20%20%20%20%C5%BBe%20tym%20mieczem%20wyp%C4%99dzi%20z%20Polski%20trzech%20mocarz%C3%B3w%2C%0A%20%20%20%20Albo%20sam%20na%20nim%20padnie.%20Dalej%20w%20polskiej%20szacie%0A%20%20%20%20Siedzi%20Rejtan%2C%20%C5%BCa%C5%82o%C5%9Bny%20po%20wolno%C5%9Bci%20stracie%3B%0A%20%20%20%20W%20r%C4%99ku%20trzyma%20n%C3%B3%C5%BC%20ostrzem%20zwr%C3%B3cony%20do%20%C5%82ona%2C%0A%20%20%20%20A%20przed%20nim%20le%C5%BCy%20Fedon%20i%20%C5%BCywot%20Katona.%0A%20%20%20%20Dalej%20Jasi%C5%84ski%2C%20m%C5%82odzian%20pi%C4%99kny%20i%20pos%C4%99pny%3B%0A%20%20%20%20Obok%20Korsak%2C%20towarzysz%20jego%20nieodst%C4%99pny%3A%0A%20%20%20%20Stoj%C4%85%20na%20sza%C5%84cach%20Pragi%2C%20na%20stosach%20Moskali%2C%0A%20%20%20%20Siek%C4%85c%20wrog%C3%B3w%2C%20a%20Praga%20ju%C5%BC%20si%C4%99%20wko%C5%82o%20pali.%0A%20%20%20%20Nawet%20stary%20stoj%C4%85cy%20zegar%20kurantowy%0A%20%20%20%20W%20drewnianej%20szafie%20pozna%C5%82%2C%20u%20wni%C5%9Bcia%20alkowy%3B%0A%20%20%20%20I%20z%20dziecinn%C4%85%20rado%C5%9Bci%C4%85%20poci%C4%85gn%C4%85%C5%82%20za%20sznurek%2C%0A%20%20%20%20By%20stary%20D%C4%85browskiego%20us%C5%82ysze%C4%87%20mazurek.%0A%0A%20%20%20%20Biega%C5%82%20po%20ca%C5%82ym%20domu%20i%20szuka%C5%82%20komnaty%2C%0A%20%20%20%20Gdzie%20mieszka%C5%82%20dzieckiem%20b%C4%99d%C4%85c%2C%20przed%20dziesi%C4%99ciu%20laty.%0A%20%20%20%20Wchodzi%2C%20cofn%C4%85%C5%82%20si%C4%99%2C%20toczy%C5%82%20zdumione%20%C5%BArenice%0A%20%20%20%20Po%20%C5%9Bcianach%3A%20w%20tej%20komnacie%20mieszkanie%20kobi%C3%A9ce!%0A%20%20%20%20Kt%C3%B3%C5%BC%20by%20tu%20mieszka%C5%82%3F%20Stary%20stryj%20nie%20by%C5%82%20%C5%BConaty%3B%0A%20%20%20%20A%20ciotka%20w%20Petersburgu%20mieszka%C5%82a%20przed%20laty.%0A%20%20%20%20To%20nie%20by%C5%82%20ochmistrzyni%20pok%C3%B3j%3F%20Fortepiano%3F%0A%20%20%20%20Na%20nim%20nuty%20i%20ksi%C4%85%C5%BCki%3B%20wszystko%20porzucano%0A%20%20%20%20Niedbale%20i%20bez%C5%82adnie%3A%20nieporz%C4%85dek%20mi%C5%82y!%0A%20%20%20%20Niestare%20by%C5%82y%20r%C4%85czki%2C%20co%20je%20tak%20rzuci%C5%82y.%0A%20%20%20%20Tu%C5%BC%20i%20sukienka%20bia%C5%82a%2C%20%C5%9Bwie%C5%BCo%20z%20ko%C5%82ka%20zdj%C4%99ta%0A%20%20%20%20Do%20ubrania%2C%20na%20krzes%C5%82a%20por%C4%99czu%20rozpi%C4%99ta%3B%0A%20%20%20%20A%20na%20oknach%20donice%20z%20pachn%C4%85cymi%20zio%C5%82ki%2C%0A%20%20%20%20Geranium%2C%20lewkonija%2C%20astry%20i%20fijo%C5%82ki.%0A%20%20%20%20Podr%C3%B3%C5%BCny%20stan%C4%85%C5%82%20w%20jednym%20z%20okien%20%E2%80%94%20nowe%20dziwo%3A%0A%20%20%20%20W%20sadzie%2C%20na%20brzegu%20niegdy%C5%9B%20zaros%C5%82ym%20pokrzyw%C4%85%2C%0A%20%20%20%20By%C5%82%20male%C5%84ki%20ogr%C3%B3dek%20%C5%9Bcie%C5%BCkami%20porzni%C4%99ty%2C%0A%20%20%20%20Pe%C5%82en%20bukiet%C3%B3w%20trawy%20angielskiej%20i%20mi%C4%99ty.%0A%20%20%20%20Drewniany%2C%20drobny%2C%20w%20cyfr%C4%99%20powi%C4%85zany%20p%C5%82otek%0A%20%20%20%20Po%C5%82yska%C5%82%20si%C4%99%20wst%C4%85%C5%BCkami%20jaskrawych%20stokrotek%3B%0A%20%20%20%20Grz%C4%85dki%2C%20wida%C4%87%2C%20%C5%BCe%20by%C5%82y%20%C5%9Bwie%C5%BCo%20polewane%2C%0A%20%20%20%20Tu%C5%BC%20sta%C5%82o%20wody%20pe%C5%82ne%20naczynie%20blaszane%2C%0A%20%20%20%20Ale%20nigdzie%20nie%20wida%C4%87%20by%C5%82o%20ogrodniczki%3B%0A%20%20%20%20Tylko%20co%20wysz%C5%82a%3A%20jeszcze%20ko%C5%82ysz%C4%85%20si%C4%99%20drzwiczki%0A%20%20%20%20%C5%9Awie%C5%BCo%20tr%C4%85cone%2C%20blisko%20drzwi%20%C5%9Blad%20wida%C4%87%20n%C3%B3%C5%BCki%0A%20%20%20%20Na%20piasku%2C%20bez%20trzewika%20by%C5%82a%20i%20po%C5%84czoszki%3B%0A%20%20%20%20Na%20piasku%20drobnym%2C%20suchym%2C%20bia%C5%82ym%20na%20kszta%C5%82t%20%C5%9Bniegu%2C%0A%20%20%20%20%C5%9Alad%20wyra%C5%BAny%2C%20lecz%20lekki%2C%20odgadniesz%2C%20%C5%BCe%20w%20biegu%0A%20%20%20%20Chybkim%20by%C5%82%20zostawiony%20n%C3%B3%C5%BCkami%20drobnemi%0A%20%20%20%20Od%20kogo%C5%9B%2C%20co%20zaledwie%20dotyka%C5%82%20si%C4%99%20ziemi.%0A%0A%20%20%20%20Podr%C3%B3%C5%BCny%20d%C5%82ugo%20w%20oknie%20sta%C5%82%20patrz%C4%85c%2C%20dumaj%C4%85c%2C%0A%20%20%20%20Wonnymi%20powiewami%20kwiat%C3%B3w%20oddychaj%C4%85c.%0A%20%20%20%20Oblicze%20a%C5%BC%20na%20krzaki%20fijo%C5%82kowe%20sk%C5%82oni%C5%82%2C%0A%20%20%20%20Oczyma%20ciekawymi%20po%20dro%C5%BCynach%20goni%C5%82%0A%20%20%20%20I%20znowu%20je%20na%20drobnych%20%C5%9Bladach%20zatrzymywa%C5%82%2C%0A%20%20%20%20My%C5%9Bla%C5%82%20o%20nich%20i%2C%20czyje%20by%C5%82y%2C%20odgadywa%C5%82.%0A%20%20%20%20Przypadkiem%20oczy%20podni%C3%B3s%C5%82%2C%20i%20tu%C5%BC%20na%20parkanie%0A%20%20%20%20Sta%C5%82a%20m%C5%82oda%20dziewczyna%E2%80%A6%20Bia%C5%82e%20jej%20ubranie%0A%20%20%20%20Wysmuk%C5%82%C4%85%20posta%C4%87%20tylko%20a%C5%BC%20do%20piersi%20kryje%2C%0A%20%20%20%20Ods%C5%82aniaj%C4%85c%20ramiona%20i%20%C5%82ab%C4%99dzi%C4%85%20szyj%C4%99.%0A%20%20%20%20W%20takim%20Litwinka%20tylko%20chodzi%C4%87%20zwyk%C5%82a%20z%20rana%2C%0A%20%20%20%20W%20takim%20nigdy%20nie%20bywa%20od%20m%C4%99%C5%BCczyzn%20widziana%3A%0A%20%20%20%20Wi%C4%99c%20cho%C4%87%20%C5%9Bwiadka%20nie%20mia%C5%82a%2C%20za%C5%82o%C5%BCy%C5%82a%20r%C4%99ce%0A%20%20%20%20Na%20piersiach%2C%20przydawaj%C4%85c%20zas%C5%82ony%20sukience.%0A%20%20%20%20W%C5%82os%20w%20pukle%20nierozwity%2C%20lecz%20w%20w%C4%99ze%C5%82ki%20ma%C5%82e%0A%20%20%20%20Pokr%C4%99cony%2C%20schowany%20w%20drobne%20str%C4%85czki%20bia%C5%82e%2C%0A%20%20%20%20Dziwnie%20ozdabia%C5%82%20g%C5%82ow%C4%99%3A%20bo%20od%20s%C5%82o%C5%84ca%20blasku%0A%20%20%20%20%C5%9Awieci%C5%82%20si%C4%99%20jak%20korona%20na%20%C5%9Bwi%C4%99tych%20obrazku.%0A%20%20%20%20Twarzy%20nie%20by%C5%82o%20wida%C4%87%3B%20zwr%C3%B3cona%20na%20pole%0A%20%20%20%20Szuka%C5%82a%20kogo%C5%9B%20okiem%2C%20daleko%2C%20na%20dole%3B%0A%20%20%20%20Ujrza%C5%82a%2C%20za%C5%9Bmia%C5%82a%20si%C4%99%20i%20klasn%C4%99%C5%82a%20w%20d%C5%82onie%2C%0A%20%20%20%20Jak%20bia%C5%82y%20ptak%20zlecia%C5%82a%20z%20parkanu%20na%20b%C5%82onie%2C%0A%20%20%20%20I%20wion%C4%99%C5%82a%20ogrodem%2C%20przez%20p%C5%82otki%2C%20przez%20kwiaty%2C%0A%20%20%20%20I%20po%20desce%20opartej%20o%20%C5%9Bcian%C4%99%20komnaty%E2%80%A6%0A%20%20%20%20Nim%20spostrzeg%C5%82%20si%C4%99%2C%20wlecia%C5%82a%20przez%20okno%2C%20%C5%9Bwiec%C4%85ca%2C%0A%20%20%20%20Nag%C5%82a%2C%20cicha%20i%20lekka%2C%20jak%20%C5%9Bwiat%C5%82o%C5%9B%C4%87%20miesi%C4%85ca.%0A%20%20%20%20Nuc%C4%85c%20chwyci%C5%82a%20suknie%2C%20bieg%C5%82a%20do%20zwierciad%C5%82a%3A%0A%20%20%20%20Wtem%20ujrza%C5%82a%20m%C5%82odzie%C5%84ca%20i%20z%20r%C4%85k%20jej%20wypad%C5%82a%0A%20%20%20%20Suknia%2C%20a%20twarz%20od%20strachu%20i%20dziwu%20poblad%C5%82a.%0A%20%20%20%20Twarz%20podr%C3%B3%C5%BCnego%20barw%C4%85%20sp%C5%82on%C4%99%C5%82a%20rumian%C4%85%2C%0A%20%20%20%20Jak%20ob%C5%82ok%2C%20gdy%20z%20jutrzenk%C4%85%20napotka%20si%C4%99%20ran%C4%85.%0A%20%20%20%20Skromny%20m%C5%82odzieniec%20oczy%20zmru%C5%BCy%C5%82%20i%20przys%C5%82oni%C5%82%2C%0A%20%20%20%20Chcia%C5%82%20co%C5%9B%20m%C3%B3wi%C4%87%2C%20przeprasza%C4%87%3B%20tylko%20si%C4%99%20uk%C5%82oni%C5%82%0A%20%20%20%20I%20cofn%C4%85%C5%82%20si%C4%99.%20Dziewica%20krzykn%C4%99%C5%82a%20bole%C5%9Bnie%2C%0A%20%20%20%20Niewyra%C5%BAnie%2C%20jak%20dziecko%20przestraszone%20we%20%C5%9Bnie%3B%0A%20%20%20%20Podr%C3%B3%C5%BCny%20zl%C4%85k%C5%82%20si%C4%99%2C%20spojrza%C5%82%3B%20lecz%20ju%C5%BC%20jej%20nie%20by%C5%82o.%0A%20%20%20%20Wyszed%C5%82%20zmieszany%20i%20czu%C5%82%2C%20%C5%BCe%20mu%20serce%20bi%C5%82o%0A%20%20%20%20G%C5%82o%C5%9Bno%2C%20i%20sam%20nie%20wiedzia%C5%82%2C%20czy%20go%20mia%C5%82o%20%C5%9Bmieszy%C4%87%0A%20%20%20%20To%20dziwaczne%20spotkanie%2C%20czy%20wstydzi%C4%87%2C%20czy%20cieszy%C4%87.%0A%0A%20%20%20%20Tymczasem%20na%20folwarku%20nie%20usz%C5%82o%20baczno%C5%9Bci%2C%0A%20%20%20%20%C5%BBe%20przed%20ganek%20zajecha%C5%82%20kt%C3%B3ry%C5%9B%20z%20nowych%20go%C5%9Bci.%0A%20%20%20%20Ju%C5%BC%20konie%20w%20stajni%C4%85%20wzi%C4%99to%2C%20ju%C5%BC%20im%20hojnie%20dano%2C%0A%20%20%20%20Jako%20w%20porz%C4%85dnym%20domu%2C%20i%20obrok%2C%20i%20siano%3A%0A%20%20%20%20Bo%20S%C4%99dzia%20nigdy%20nie%20chcia%C5%82%2C%20wed%C5%82ug%20nowej%20mody%2C%0A%20%20%20%20Odsy%C5%82a%C4%87%20koni%20go%C5%9Bci%20%C5%BBydom%20do%20gospody.%0A%20%20%20%20S%C5%82udzy%20nie%20wyszli%20wita%C4%87%3B%20ale%20nie%20my%C5%9Bl%20wcale%2C%0A%20%20%20%20Aby%20w%20domu%20S%C4%99dziego%20s%C5%82u%C5%BCono%20niedbale%3A%0A%20%20%20%20S%C5%82udzy%20czekaj%C4%85%2C%20nim%20si%C4%99%20pan%20Wojski%20ubierze%2C%0A%20%20%20%20Kt%C3%B3ry%20teraz%20za%20domem%20urz%C4%85dza%C5%82%20wieczerz%C4%99.%0A%20%20%20%20On%20pana%20zast%C4%99puje%20i%20on%2C%20w%20niebytno%C5%9Bci%0A%20%20%20%20Pana%2C%20zwyk%C5%82%20sam%20przyjmowa%C4%87%20i%20zabawia%C4%87%20go%C5%9Bci%0A%20%20%20%20(Daleki%20krewny%20pa%C5%84ski%20i%20przyjaciel%20domu).%0A%20%20%20%20Widz%C4%85c%20go%C5%9Bcia%2C%20na%20folwark%20d%C4%85%C5%BCy%C5%82%20po%20kryjomu%2C%0A%20%20%20%20Bo%20nie%20m%C3%B3g%C5%82%20wyj%C5%9B%C4%87%20spotyka%C4%87%20w%20tkackim%20pudermanie%3B%0A%20%20%20%20Wdzia%C5%82%20wi%C4%99c%20jak%20m%C3%B3g%C5%82%20najpr%C4%99dzej%20niedzielne%20ubranie%0A%20%20%20%20Nagotowane%20z%20rana%2C%20bo%20od%20rana%20wiedzia%C5%82%2C%0A%20%20%20%20%C5%BBe%20u%20wieczerzy%20b%C4%99dzie%20z%20mn%C3%B3stwem%20go%C5%9Bci%20siedzia%C5%82.%0A%0A%20%20%20%20Pan%20Wojski%20pozna%C5%82%20z%20dala%2C%20r%C4%99ce%20rozkrzy%C5%BCowa%C5%82%0A%20%20%20%20I%20z%20krzykiem%20podr%C3%B3%C5%BCnego%20%C5%9Bciska%C5%82%20i%20ca%C5%82owa%C5%82.%0A%20%20%20%20Zacz%C4%99%C5%82a%20si%C4%99%20ta%20pr%C4%99dka%2C%20zmieszana%20rozmowa%2C%0A%20%20%20%20W%20kt%C3%B3rej%20lat%20kilku%20dzieje%20chciano%20zamkn%C4%85%C4%87%20w%20s%C5%82owa%0A%20%20%20%20Kr%C3%B3tkie%20i%20popl%C4%85tane%2C%20w%20ci%C4%85g%20powie%C5%9Bci%2C%20pyta%C5%84%2C%0A%20%20%20%20Wykrzyknik%C3%B3w%20i%20westchnie%C5%84%2C%20i%20nowych%20powita%C5%84.%0A%20%20%20%20Gdy%20si%C4%99%20pan%20Wojski%20dosy%C4%87%20napyta%C5%82%2C%20nabada%C5%82%2C%0A%20%20%20%20Na%20samym%20ko%C5%84cu%20dzieje%20tego%20dnia%20powiada%C5%82.%0A%0A%20%20%20%20%C2%ABDobrze%20m%C3%B3j%20Tadeuszu%2C%20(bo%20tak%20nazywano%0A%20%20%20%20M%C5%82odzie%C5%84ca%2C%20kt%C3%B3ry%20nosi%C5%82%20Ko%C5%9Bciuszkowskie%20miano%0A%20%20%20%20Na%20pami%C4%85tk%C4%99%2C%20%C5%BCe%20w%20czasie%20wojny%20si%C4%99%20urodzi%C5%82)%0A%20%20%20%20Dobrze%20m%C3%B3j%20Tadeuszu%2C%20%C5%BCe%C5%9B%20si%C4%99%20dzi%C5%9B%20nagodzi%C5%82%0A%20%20%20%20Do%20domu%2C%20w%C5%82a%C5%9Bnie%20kiedy%20mamy%20panien%20wiele.%0A%20%20%20%20Stryjaszek%20my%C5%9Bli%20wkr%C3%B3tce%20sprawi%C4%87%20ci%20wesele%3B%0A%20%20%20%20Jest%20z%20czego%20wybra%C4%87%3B%20u%20nas%20towarzystwo%20liczne%0A%20%20%20%20Od%20dni%20kilku%20zbiera%20si%C4%99%20na%20s%C4%85dy%20graniczne%2C%0A%20%20%20%20Dla%20sko%C5%84czenia%20dawnego%20z%20panem%20Hrabi%C4%85%20sporu.%0A%20%20%20%20I%20pan%20Hrabia%20ma%20jutro%20sam%20zjecha%C4%87%20do%20dworu%3B%0A%20%20%20%20Podkomorzy%20ju%C5%BC%20zjecha%C5%82%20z%20%C5%BCon%C4%85%20i%20z%20c%C3%B3rkami.%0A%20%20%20%20M%C5%82odzie%C5%BC%20posz%C5%82a%20do%20lasu%20bawi%C4%87%20si%C4%99%20strzelbami%2C%0A%20%20%20%20A%20starzy%20i%20kobiety%20%C5%BCniwo%20ogl%C4%85daj%C4%85%0A%20%20%20%20Pod%20lasem%20i%20tam%20pewnie%20na%20m%C5%82odzie%C5%BC%20czekaj%C4%85.%0A%20%20%20%20P%C3%B3jdziemy%2C%20je%C5%9Bli%20zechcesz%2C%20i%20wkr%C3%B3tce%20spotkamy%0A%20%20%20%20Stryjaszka%2C%20Podkomorstwo%20i%20szanowne%20damy%C2%BB.%0A%0A%20%20%20%20Pan%20Wojski%20z%20Tadeuszem%20id%C4%85%20pod%20las%20drog%C4%85%2C%0A%20%20%20%20I%20jeszcze%20si%C4%99%20do%20woli%20nagada%C4%87%20nie%20mog%C4%85.%0A%0A%20%20%20%20S%C5%82o%C5%84ce%20ostatnich%20kres%C3%B3w%20nieba%20dochodzi%C5%82o%2C%0A%20%20%20%20Mniej%20silnie%2C%20ale%20szerzej%20ni%C5%BC%20we%20dnie%20%C5%9Bwieci%C5%82o%2C%0A%20%20%20%20Ca%C5%82e%20zaczerwienione%2C%20jak%20zdrowe%20oblicze%0A%20%20%20%20Gospodarza%2C%20gdy%20prace%20sko%C5%84czywszy%20rolnicze%0A%20%20%20%20Na%20spoczynek%20powraca.%20Ju%C5%BC%20kr%C4%85g%20promienisty%0A%20%20%20%20Spuszcza%20si%C4%99%20na%20wierzch%20boru%20i%20ju%C5%BC%20pomrok%20mglisty%2C%0A%20%20%20%20Nape%C5%82niaj%C4%85c%20wierzcho%C5%82ki%20i%20ga%C5%82%C4%99zie%20drzewa%2C%0A%20%20%20%20Ca%C5%82y%20las%20wi%C4%85%C5%BCe%20w%20jedno%20i%20jakoby%20zlewa%3B%0A%20%20%20%20I%20b%C3%B3r%20czerni%C5%82%20si%C4%99%20na%20kszta%C5%82t%20ogromnego%20gmachu%2C%0A%20%20%20%20S%C5%82o%C5%84ce%20nad%20nim%20czerwone%20jak%20po%C5%BCar%20na%20dachu.%0A%20%20%20%20Wtem%20zapad%C5%82o%20do%20g%C5%82%C4%99bi%3B%20jeszcze%20przez%20konary%0A%20%20%20%20B%C5%82ysn%C4%99%C5%82o%2C%20jako%20%C5%9Bwieca%20przez%20okiennic%20szpary%2C%0A%20%20%20%20I%20zgas%C5%82o.%20I%20wnet%20sierpy%20gromadnie%20dzwoni%C4%85ce%0A%20%20%20%20We%20zbo%C5%BCach%2C%20i%20grabliska%20suwane%20po%20%C5%82%C4%85ce%2C%0A%20%20%20%20Ucich%C5%82y%20i%20stan%C4%99%C5%82y%3A%20tak%20pan%20S%C4%99dzia%20ka%C5%BCe%2C%0A%20%20%20%20U%20niego%20ze%20dniem%20ko%C5%84cz%C4%85%20prac%C4%99%20gospodarze.%0A%20%20%20%20%C2%ABPan%20%C5%9Bwiata%20wie%2C%20jak%20d%C5%82ugo%20pracowa%C4%87%20potrzeba%3B%0A%20%20%20%20S%C5%82o%C5%84ce%2C%20Jego%20robotnik%2C%20kiedy%20znijdzie%20z%20nieba%2C%0A%20%20%20%20Czas%20i%20ziemianinowi%20ust%C4%99powa%C4%87%20z%20pola%C2%BB.%0A%20%20%20%20Tak%20zwyk%C5%82%20mawia%C4%87%20pan%20S%C4%99dzia%2C%20a%20S%C4%99dziego%20wola%0A%20%20%20%20By%C5%82a%20Ekonomowi%20poczciwemu%20%C5%9Bwi%C4%99t%C4%85%3B%0A%20%20%20%20Bo%20nawet%20wozy%2C%20w%20kt%C3%B3re%20ju%C5%BC%20sk%C5%82ada%C4%87%20zacz%C4%99to%0A%20%20%20%20Kop%C4%99%20%C5%BCyta%2C%20niepe%C5%82ne%20jad%C4%85%20do%20stodo%C5%82y%3A%0A%20%20%20%20Ciesz%C4%85%20si%C4%99%20z%20niezwyczajnej%20ich%20lekko%C5%9Bci%20wo%C5%82y.%0A%0A%20%20%20%20W%C5%82a%C5%9Bnie%20z%20lasu%20wraca%C5%82o%20towarzystwo%20ca%C5%82e%2C%0A%20%20%20%20Weso%C5%82e%2C%20lecz%20w%20porz%C4%85dku.%20Naprz%C3%B3d%20dzieci%20ma%C5%82e%0A%20%20%20%20Z%20dozorc%C4%85%2C%20potem%20S%C4%99dzia%20szed%C5%82%20z%20Podkomorzyn%C4%85%2C%0A%20%20%20%20Obok%20pan%20Podkomorzy%20otoczon%20rodzin%C4%85%3B%0A%20%20%20%20Panny%20tu%C5%BC%20za%20starszymi%2C%20a%20m%C5%82odzie%C5%BC%20na%20boku%3B%0A%20%20%20%20Panny%20sz%C5%82y%20przed%20m%C5%82odzie%C5%BC%C4%85%20o%20jakie%20p%C3%B3%C5%82%20kroku%0A%20%20%20%20(Tak%20ka%C5%BCe%20przyzwoito%C5%9B%C4%87).%20Nikt%20tam%20nie%20rozprawia%C5%82%0A%20%20%20%20O%20porz%C4%85dku%2C%20nikt%20m%C4%99%C5%BCczyzn%20i%20dam%20nie%20ustawia%C5%82%3A%0A%20%20%20%20A%20ka%C5%BCdy%20mimowolnie%20porz%C4%85dku%20pilnowa%C5%82%3B%0A%20%20%20%20Bo%20S%C4%99dzia%20w%20domu%20dawne%20obyczaje%20chowa%C5%82%2C%0A%20%20%20%20I%20nigdy%20nie%20dozwala%C5%82%2C%20by%20chybiano%20wzgl%C4%99du%0A%20%20%20%20Dla%20wieku%2C%20urodzenia%2C%20rozumu%2C%20urz%C4%99du.%0A%20%20%20%20Tym%20%C5%82adem%2C%20mawia%C5%82%2C%20domy%20i%20narody%20s%C5%82yn%C4%85%2C%0A%20%20%20%20Z%20jego%20upadkiem%20domy%20i%20narody%20gin%C4%85.%0A%20%20%20%20Wi%C4%99c%20do%20porz%C4%85dku%20wykli%20domowi%20i%20s%C5%82udzy%3B%0A%20%20%20%20I%20przyjezdny%20go%C5%9B%C4%87%2C%20krewny%20albo%20cz%C5%82owiek%20cudzy%2C%0A%20%20%20%20Gdy%20S%C4%99dziego%20nawiedzi%C5%82%2C%20skoro%20poby%C5%82%20ma%C5%82o%2C%0A%20%20%20%20Przyjmowa%C5%82%20zwyczaj%2C%20kt%C3%B3rym%20wszystko%20oddycha%C5%82o.%0A%0A%20%20%20%20Kr%C3%B3tkie%20by%C5%82y%20S%C4%99dziego%20z%20synowcem%20witania%3A%0A%20%20%20%20Da%C5%82%20mu%20powa%C5%BCnie%20r%C4%99k%C4%99%20do%20poca%C5%82owania%2C%0A%20%20%20%20I%20w%20skro%C5%84%20uca%C5%82owawszy%20uprzejmie%20pozdrowi%C5%82%3B%0A%20%20%20%20A%20cho%C4%87%20przez%20wzgl%C4%85d%20na%20go%C5%9Bci%20niewiele%20z%20nim%20m%C3%B3wi%C5%82%2C%0A%20%20%20%20Wida%C4%87%20by%C5%82o%20z%20%C5%82ez%2C%20kt%C3%B3re%20wylotem%20kontusza%0A%20%20%20%20Otar%C5%82%20pr%C4%99dko%2C%20jak%20kocha%C5%82%20pana%20Tadeusza.%0A%0A%20%20%20%20W%20%C5%9Blad%20gospodarza%20wszystko%20ze%20%C5%BCniwa%20i%20z%20boru%2C%0A%20%20%20%20I%20z%20%C5%82%C4%85k%2C%20i%20z%20pastwisk%20razem%20wraca%C5%82o%20do%20dworu.%0A%20%20%20%20Tu%20owiec%20trzoda%20becz%C4%85c%20w%20ulice%20si%C4%99%20t%C5%82oczy%0A%20%20%20%20I%20wznosi%20chmur%C4%99%20py%C5%82u%3B%20dalej%20z%20wolna%20kroczy%0A%20%20%20%20Stado%20cielic%20tyrolskich%20z%20mosi%C4%99%C5%BCnymi%20dzwonki%3B%0A%20%20%20%20Tam%20konie%20r%C5%BC%C4%85ce%20lec%C4%85%20ze%20skoszonej%20%C5%82%C4%85ki%3A%0A%20%20%20%20Wszystko%20bie%C5%BCy%20ku%20studni%2C%20kt%C3%B3rej%20rami%C4%99%20z%20drzewa%0A%20%20%20%20Raz%20wraz%20skrzypi%20i%20nap%C3%B3j%20w%20koryta%20rozlewa.%0A%0A%20%20%20%20S%C4%99dzia%2C%20cho%C4%87%20utrudzony%2C%20chocia%C5%BC%20w%20gronie%20go%C5%9Bci%2C%0A%20%20%20%20Nie%20chybi%C5%82%20gospodarskiej%2C%20wa%C5%BCnej%20powinno%C5%9Bci%3A%0A%20%20%20%20Uda%C5%82%20si%C4%99%20sam%20ku%20studni.%20Najlepiej%20z%20wieczora%0A%20%20%20%20Gospodarz%20widzi%2C%20w%20jakim%20stanie%20jest%20obora.%0A%20%20%20%20Dozoru%20tego%20nigdy%20s%C5%82ugom%20nie%20poruczy%3B%0A%20%20%20%20Bo%20S%C4%99dzia%20wie%2C%20%C5%BCe%20oko%20pa%C5%84skie%20konia%20tuczy.%0A%0A%20%20%20%20Wojski%20z%20Wo%C5%BAnym%20Protazym%20ze%20%C5%9Bwiecami%20w%20sieni%0A%20%20%20%20Stali%20i%20rozprawiali%2C%20nieco%20por%C3%B3%C5%BCnieni%3A%0A%20%20%20%20Bo%20w%20niebytno%C5%9B%C4%87%20Wojskiego%20Wo%C5%BAny%20po%20kryjomu%0A%20%20%20%20Kaza%C5%82%20sto%C5%82y%20z%20wieczerz%C4%85%20powynosi%C4%87%20z%20domu%2C%0A%20%20%20%20I%20ustawi%C4%87%20co%20pr%C4%99dzej%20w%20po%C5%9Brodku%20zamczyska%2C%0A%20%20%20%20Kt%C3%B3rego%20widne%20by%C5%82y%20pod%20lasem%20zwaliska.%0A%20%20%20%20Po%20c%C3%B3%C5%BC%20te%20przenosiny%3F%20Pan%20Wojski%20si%C4%99%20krzywi%C5%82%0A%20%20%20%20I%20przeprasza%C5%82%20S%C4%99dziego%3B%20S%C4%99dzia%20si%C4%99%20zadziwi%C5%82%2C%0A%20%20%20%20Lecz%20sta%C5%82o%20si%C4%99%3A%20ju%C5%BC%20p%C3%B3%C5%BAno%20i%20trudno%20zaradzi%C4%87%2C%0A%20%20%20%20Wola%C5%82%20go%C5%9Bci%20przeprosi%C4%87%20i%20w%20pustki%20prowadzi%C4%87.%0A%20%20%20%20Po%20drodze%20Wo%C5%BAny%20ci%C4%85gle%20S%C4%99dziemu%20t%C5%82umaczy%C5%82%2C%0A%20%20%20%20Dlaczego%20urz%C4%85dzenie%20pa%C5%84skie%20przeinaczy%C5%82%3A%0A%20%20%20%20We%20dworze%20%C5%BCadna%20izba%20nie%20ma%20obszerno%C5%9Bci%0A%20%20%20%20Dostatecznej%20dla%20tylu%2C%20tak%20szanownych%20go%C5%9Bci%2C%0A%20%20%20%20W%20zamku%20sie%C5%84%20wielka%2C%20jeszcze%20dobrze%20zachowana%2C%0A%20%20%20%20Sklepienie%20ca%C5%82e%20%E2%80%94%20wprawdzie%20p%C4%99k%C5%82a%20jedna%20%C5%9Bciana%2C%0A%20%20%20%20Okna%20bez%20szyb%2C%20lecz%20latem%20nic%20to%20nie%20zawadzi%3B%0A%20%20%20%20Blisko%C5%9B%C4%87%20piwnic%20wygodna%20s%C5%82u%C5%BC%C4%85cej%20czeladzi.%0A%20%20%20%20Tak%20m%C3%B3wi%C4%85c%20na%20S%C4%99dziego%20mruga%C5%82%3B%20wida%C4%87%20z%20miny%2C%0A%20%20%20%20%C5%BBe%20mia%C5%82%20i%20tai%C5%82%20inne%2C%20wa%C5%BCniejsze%20przyczyny.%0A%0A%20%20%20%20O%20dwa%20tysi%C4%85ce%20krok%C3%B3w%20zamek%20sta%C5%82%20za%20domem%2C%0A%20%20%20%20Okaza%C5%82y%20budow%C4%85%2C%20powa%C5%BCny%20ogromem%2C%0A%20%20%20%20Dziedzictwo%20staro%C5%BCytnej%20rodziny%20Horeszk%C3%B3w%3B%0A%20%20%20%20Dziedzic%20zgin%C4%85%C5%82%20by%C5%82%20w%20czasie%20krajowych%20zamieszk%C3%B3w.%0A%20%20%20%20Dobra%20ca%C5%82e%20zniszczone%20sekwestrami%20rz%C4%85du%2C%0A%20%20%20%20Bez%C5%82adno%C5%9Bci%C4%85%20opieki%2C%20wyrokami%20s%C4%85du%2C%22%22%22%0A%0A%20%20%20%20KONSTYTUCJA%20%3D%20%22%22%22Rozdzia%C5%82%20I%0A%0A%20%20%20%20Rzeczpospolita%0A%20%20%20%20Art.%201.%20Rzeczpospolita%20Polska%20jest%20dobrem%20wsp%C3%B3lnym%20wszystkich%20obywateli.%0A%0A%20%20%20%20Art.%202.%20Rzeczpospolita%20Polska%20jest%20demokratycznym%20pa%C5%84stwem%20prawnym%2C%20urzeczywistniaj%C4%85cym%20zasady%20sprawiedliwo%C5%9Bci%20spo%C5%82ecznej.%0A%0A%20%20%20%20Art.%203.%20Rzeczpospolita%20Polska%20jest%20pa%C5%84stwem%20jednolitym.%0A%0A%20%20%20%20Art.%204.%0A%20%20%20%20W%C5%82adza%20zwierzchnia%20w%20Rzeczypospolitej%20Polskiej%20nale%C5%BCy%20do%20Narodu.%0A%20%20%20%20Nar%C3%B3d%20sprawuje%20w%C5%82adz%C4%99%20przez%20swoich%20przedstawicieli%20lub%20bezpo%C5%9Brednio.%0A%0A%20%20%20%20Art.%205.%20Rzeczpospolita%20Polska%20strze%C5%BCe%20niepodleg%C5%82o%C5%9Bci%20i%20nienaruszalno%C5%9Bci%20swojego%20terytorium%2C%20zapewnia%20wolno%C5%9Bci%20i%20prawa%20cz%C5%82owieka%20i%20obywatela%20oraz%20bezpiecze%C5%84stwo%20obywateli%2C%20strze%C5%BCe%20dziedzictwa%20narodowego%20oraz%20zapewnia%20ochron%C4%99%20%C5%9Brodowiska%2C%20kieruj%C4%85c%20si%C4%99%20zasad%C4%85%20zr%C3%B3wnowa%C5%BConego%20rozwoju.%0A%0A%20%20%20%20Art.%206.%0A%20%20%20%20Rzeczpospolita%20Polska%20stwarza%20warunki%20upowszechniania%20i%20r%C3%B3wnego%20dost%C4%99pu%20do%20d%C3%B3br%20kultury%2C%20b%C4%99d%C4%85cej%20%C5%BAr%C3%B3d%C5%82em%20to%C5%BCsamo%C5%9Bci%20narodu%20polskiego%2C%20jego%20trwania%20i%20rozwoju.%0A%20%20%20%20Rzeczpospolita%20Polska%20udziela%20pomocy%20Polakom%20zamieszka%C5%82ym%20za%20granic%C4%85%20w%20zachowaniu%20ich%20zwi%C4%85zk%C3%B3w%20z%20narodowym%20dziedzictwem%20kulturalnym.%0A%0A%20%20%20%20Art.%207.%20Organy%20w%C5%82adzy%20publicznej%20dzia%C5%82aj%C4%85%20na%20podstawie%20i%20w%20granicach%20prawa.%0A%0A%20%20%20%20Art.%208.%0A%20%20%20%20Konstytucja%20jest%20najwy%C5%BCszym%20prawem%20Rzeczypospolitej%20Polskiej.%0A%20%20%20%20Przepisy%20Konstytucji%20stosuje%20si%C4%99%20bezpo%C5%9Brednio%2C%20chyba%20%C5%BCe%20Konstytucja%20stanowi%20inaczej.%0A%0A%20%20%20%20Art.%209.%20Rzeczpospolita%20Polska%20przestrzega%20wi%C4%85%C5%BC%C4%85cego%20j%C4%85%20prawa%20mi%C4%99dzynarodowego.%0A%0A%20%20%20%20Art.%2010.%0A%20%20%20%20Ustr%C3%B3j%20Rzeczypospolitej%20Polskiej%20opiera%20si%C4%99%20na%20podziale%20i%20r%C3%B3wnowadze%20w%C5%82adzy%20ustawodawczej%2C%20w%C5%82adzy%20wykonawczej%20i%20w%C5%82adzy%20s%C4%85downiczej.%0A%20%20%20%20W%C5%82adz%C4%99%20ustawodawcz%C4%85%20sprawuj%C4%85%20Sejm%20i%20Senat%2C%20w%C5%82adz%C4%99%20wykonawcz%C4%85%20Prezydent%20Rzeczypospolitej%20Polskiej%20i%20Rada%20Ministr%C3%B3w%2C%20a%20w%C5%82adz%C4%99%20s%C4%85downicz%C4%85%20s%C4%85dy%20i%20trybuna%C5%82y.%0A%0A%20%20%20%20Art.%2011.%0A%20%20%20%20Rzeczpospolita%20Polska%20zapewnia%20wolno%C5%9B%C4%87%20tworzenia%20i%20dzia%C5%82ania%20partii%20politycznych.%20Partie%20polityczne%20zrzeszaj%C4%85%20na%20zasadach%20dobrowolno%C5%9Bci%20i%20r%C3%B3wno%C5%9Bci%20obywateli%20polskich%20w%20celu%20wp%C5%82ywania%20metodami%20demokratycznymi%20na%20kszta%C5%82towanie%20polityki%20pa%C5%84stwa.%0A%20%20%20%20Finansowanie%20partii%20politycznych%20jest%20jawne.%0A%0A%20%20%20%20Art.%2012.%20Rzeczpospolita%20Polska%20zapewnia%20wolno%C5%9B%C4%87%20tworzenia%20i%20dzia%C5%82ania%20zwi%C4%85zk%C3%B3w%20zawodowych%2C%20organizacji%20spo%C5%82eczno-zawodowych%20rolnik%C3%B3w%2C%20stowarzysze%C5%84%2C%20ruch%C3%B3w%20obywatelskich%2C%20innych%20dobrowolnych%20zrzesze%C5%84%20oraz%20fundacji.%0A%0A%20%20%20%20Art.%2013.%20Zakazane%20jest%20istnienie%20partii%20politycznych%20i%20innych%20organizacji%20odwo%C5%82uj%C4%85cych%20si%C4%99%20w%20swoich%20programach%20do%20totalitarnych%20metod%20i%20praktyk%20dzia%C5%82ania%20nazizmu%2C%20faszyzmu%20i%20komunizmu%2C%20a%20tak%C5%BCe%20tych%2C%20kt%C3%B3rych%20program%20lub%20dzia%C5%82alno%C5%9B%C4%87%20zak%C5%82ada%20lub%20dopuszcza%20nienawi%C5%9B%C4%87%20rasow%C4%85%20i%20narodowo%C5%9Bciow%C4%85%2C%20stosowanie%20przemocy%20w%20celu%20zdobycia%20w%C5%82adzy%20lub%20wp%C5%82ywu%20na%20polityk%C4%99%20pa%C5%84stwa%20albo%20przewiduje%20utajnienie%20struktur%20lub%20cz%C5%82onkostwa.%0A%0A%20%20%20%20Art.%2014.%20Rzeczpospolita%20Polska%20zapewnia%20wolno%C5%9B%C4%87%20prasy%20i%20innych%20%C5%9Brodk%C3%B3w%20spo%C5%82ecznego%20przekazu.%0A%0A%20%20%20%20Art.%2015.%0A%20%20%20%20Ustr%C3%B3j%20terytorialny%20Rzeczypospolitej%20Polskiej%20zapewnia%20decentralizacj%C4%99%20w%C5%82adzy%20publicznej.%0A%20%20%20%20Zasadniczy%20podzia%C5%82%20terytorialny%20pa%C5%84stwa%20uwzgl%C4%99dniaj%C4%85cy%20wi%C4%99zi%20spo%C5%82eczne%2C%20gospodarcze%20lub%20kulturowe%20i%20zapewniaj%C4%85cy%20jednostkom%20terytorialnym%20zdolno%C5%9B%C4%87%20wykonywania%20zada%C5%84%20publicznych%20okre%C5%9Bla%20ustawa.%0A%0A%20%20%20%20Art.%2016.%0A%20%20%20%20Og%C3%B3%C5%82%20mieszka%C5%84c%C3%B3w%20jednostek%20zasadniczego%20podzia%C5%82u%20terytorialnego%20stanowi%20z%20mocy%20prawa%20wsp%C3%B3lnot%C4%99%20samorz%C4%85dow%C4%85.%0A%20%20%20%20Samorz%C4%85d%20terytorialny%20uczestniczy%20w%20sprawowaniu%20w%C5%82adzy%20publicznej.%20Przys%C5%82uguj%C4%85c%C4%85%20mu%20w%20ramach%20ustaw%20istotn%C4%85%20cz%C4%99%C5%9B%C4%87%20zada%C5%84%20publicznych%20samorz%C4%85d%20wykonuje%20w%20imieniu%20w%C5%82asnym%20i%20na%20w%C5%82asn%C4%85%20odpowiedzialno%C5%9B%C4%87.%0A%0A%20%20%20%20Art.%2017.%0A%20%20%20%20W%20drodze%20ustawy%20mo%C5%BCna%20tworzy%C4%87%20samorz%C4%85dy%20zawodowe%2C%20reprezentuj%C4%85ce%20osoby%20wykonuj%C4%85ce%20zawody%20zaufania%20publicznego%20i%20sprawuj%C4%85ce%20piecz%C4%99%20nad%20nale%C5%BCytym%20wykonywaniem%20tych%20zawod%C3%B3w%20w%20granicach%20interesu%20publicznego%20i%20dla%20jego%20ochrony.%0A%20%20%20%20W%20drodze%20ustawy%20mo%C5%BCna%20tworzy%C4%87%20r%C3%B3wnie%C5%BC%20inne%20rodzaje%20samorz%C4%85du.%20Samorz%C4%85dy%20te%20nie%20mog%C4%85%20narusza%C4%87%20wolno%C5%9Bci%20wykonywania%20zawodu%20ani%20ogranicza%C4%87%20wolno%C5%9Bci%20podejmowania%20dzia%C5%82alno%C5%9Bci%20gospodarczej.%0A%0A%20%20%20%20Art.%2018.%20Ma%C5%82%C5%BCe%C5%84stwo%20jako%20zwi%C4%85zek%20kobiety%20i%20m%C4%99%C5%BCczyzny%2C%20rodzina%2C%20macierzy%C5%84stwo%20i%20rodzicielstwo%20znajduj%C4%85%20si%C4%99%20pod%20ochron%C4%85%20i%20opiek%C4%85%20Rzeczypospolitej%20Polskiej.%0A%0A%20%20%20%20Art.%2019.%20Rzeczpospolita%20Polska%20specjaln%C4%85%20opiek%C4%85%20otacza%20weteran%C3%B3w%20walk%20o%20niepodleg%C5%82o%C5%9B%C4%87%2C%20zw%C5%82aszcza%20inwalid%C3%B3w%20wojennych.%0A%0A%20%20%20%20Art.%2020.%20Spo%C5%82eczna%20gospodarka%20rynkowa%20oparta%20na%20wolno%C5%9Bci%20dzia%C5%82alno%C5%9Bci%20gospodarczej%2C%20w%C5%82asno%C5%9Bci%20prywatnej%20oraz%20solidarno%C5%9Bci%2C%20dialogu%20i%20wsp%C3%B3%C5%82pracy%20partner%C3%B3w%20spo%C5%82ecznych%20stanowi%20podstaw%C4%99%20ustroju%20gospodarczego%20Rzeczypospolitej%20Polskiej.%0A%0A%20%20%20%20Art.%2021.%0A%20%20%20%20Rzeczpospolita%20Polska%20chroni%20w%C5%82asno%C5%9B%C4%87%20i%20prawo%20dziedziczenia.%0A%20%20%20%20Wyw%C5%82aszczenie%20jest%20dopuszczalne%20jedynie%20w%C3%B3wczas%2C%20gdy%20jest%20dokonywane%20na%20cele%20publiczne%20i%20za%20s%C5%82usznym%20odszkodowaniem.%0A%0A%20%20%20%20Art.%2022.%20Ograniczenie%20wolno%C5%9Bci%20dzia%C5%82alno%C5%9Bci%20gospodarczej%20jest%20dopuszczalne%20tylko%20w%20drodze%20ustawy%20i%20tylko%20ze%20wzgl%C4%99du%20na%20wa%C5%BCny%20interes%20publiczny.%0A%0A%20%20%20%20Art.%2023.%20Podstaw%C4%85%20ustroju%20rolnego%20pa%C5%84stwa%20jest%20gospodarstwo%20rodzinne.%20Zasada%20ta%20nie%20narusza%20postanowie%C5%84%20art.%2021%20i%20art.%2022.%0A%0A%20%20%20%20Art.%2024.%20Praca%20znajduje%20si%C4%99%20pod%20ochron%C4%85%20Rzeczypospolitej%20Polskiej.%20Pa%C5%84stwo%20sprawuje%20nadz%C3%B3r%20nad%20warunkami%20wykonywania%20pracy.%0A%0A%20%20%20%20Art.%2025.%0A%20%20%20%20Ko%C5%9Bcio%C5%82y%20i%20inne%20zwi%C4%85zki%20wyznaniowe%20s%C4%85%20r%C3%B3wnouprawnione.%0A%20%20%20%20W%C5%82adze%20publiczne%20w%20Rzeczypospolitej%20Polskiej%20zachowuj%C4%85%20bezstronno%C5%9B%C4%87%20w%20sprawach%20przekona%C5%84%20religijnych%2C%20%C5%9Bwiatopogl%C4%85dowych%20i%20filozoficznych%2C%20zapewniaj%C4%85c%20swobod%C4%99%20ich%20wyra%C5%BCania%20w%20%C5%BCyciu%20publicznym.%0A%20%20%20%20Stosunki%20mi%C4%99dzy%20pa%C5%84stwem%20a%20ko%C5%9Bcio%C5%82ami%20i%20innymi%20zwi%C4%85zkami%20wyznaniowymi%20s%C4%85%20kszta%C5%82towane%20na%20zasadach%20poszanowania%20ich%20autonomii%20oraz%20wzajemnej%20niezale%C5%BCno%C5%9Bci%20ka%C5%BCdego%20w%20swoim%20zakresie%2C%20jak%20r%C3%B3wnie%C5%BC%20wsp%C3%B3%C5%82dzia%C5%82ania%20dla%20dobra%20cz%C5%82owieka%20i%20dobra%20wsp%C3%B3lnego.%0A%20%20%20%20Stosunki%20mi%C4%99dzy%20Rzecz%C4%85pospolit%C4%85%20Polsk%C4%85%20a%20Ko%C5%9Bcio%C5%82em%20katolickim%20okre%C5%9Blaj%C4%85%20umowa%20mi%C4%99dzynarodowa%20zawarta%20ze%20Stolic%C4%85%20Apostolsk%C4%85%20i%20ustawy.%0A%20%20%20%20Stosunki%20mi%C4%99dzy%20Rzecz%C4%85pospolit%C4%85%20Polsk%C4%85%20a%20innymi%20ko%C5%9Bcio%C5%82ami%20oraz%20zwi%C4%85zkami%20wyznaniowymi%20okre%C5%9Blaj%C4%85%20ustawy%20uchwalone%20na%20podstawie%20um%C3%B3w%20zawartych%20przez%20Rad%C4%99%20Ministr%C3%B3w%20z%20ich%20w%C5%82a%C5%9Bciwymi%20przedstawicielami.%0A%0A%20%20%20%20Art.%2026.%0A%20%20%20%20Si%C5%82y%20Zbrojne%20Rzeczypospolitej%20Polskiej%20s%C5%82u%C5%BC%C4%85%20ochronie%20niepodleg%C5%82o%C5%9Bci%20pa%C5%84stwa%20i%20niepodzielno%C5%9Bci%20jego%20terytorium%20oraz%20zapewnieniu%20bezpiecze%C5%84stwa%20i%20nienaruszalno%C5%9Bci%20jego%20granic.%0A%20%20%20%20Si%C5%82y%20Zbrojne%20zachowuj%C4%85%20neutralno%C5%9B%C4%87%20w%20sprawach%20politycznych%20oraz%20podlegaj%C4%85%20cywilnej%20i%20demokratycznej%20kontroli.%0A%0A%20%20%20%20Art.%2027.%20W%20Rzeczypospolitej%20Polskiej%20j%C4%99zykiem%20urz%C4%99dowym%20jest%20j%C4%99zyk%20polski.%20Przepis%20ten%20nie%20narusza%20praw%20mniejszo%C5%9Bci%20narodowych%20wynikaj%C4%85cych%20z%20ratyfikowanych%20um%C3%B3w%20mi%C4%99dzynarodowych.%0A%0A%20%20%20%20Art.%2028.%0A%20%20%20%20God%C5%82em%20Rzeczypospolitej%20Polskiej%20jest%20wizerunek%20or%C5%82a%20bia%C5%82ego%20w%20koronie%20w%20czerwonym%20polu.%0A%20%20%20%20Barwami%20Rzeczypospolitej%20Polskiej%20s%C4%85%20kolory%20bia%C5%82y%20i%20czerwony.%0A%20%20%20%20Hymnem%20Rzeczypospolitej%20Polskiej%20jest%20Mazurek%20D%C4%85browskiego.%0A%20%20%20%20God%C5%82o%2C%20barwy%20i%20hymn%20Rzeczypospolitej%20Polskiej%20podlegaj%C4%85%20ochronie%20prawnej.%0A%20%20%20%20Szczeg%C3%B3%C5%82y%20dotycz%C4%85ce%20god%C5%82a%2C%20barw%20i%20hymnu%20okre%C5%9Bla%20ustawa.%0A%0A%20%20%20%20Art.%2029.%20Stolic%C4%85%20Rzeczypospolitej%20Polskiej%20jest%20Warszawa.%22%22%22%0A%20%20%20%20return%20KONSTYTUCJA%2C%20PAN_TADEUSZ%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Build%20a%20BPE%20tokenizer%20-%20in%20your%20browser%0A%0A%20%20%20%20Every%20LLM%20bill%20you%20have%20ever%20paid%20started%20with%20a%20tokenizer.%20And%20if%20you%20work%20with%20Polish%0A%20%20%20%20text%2C%20you%20are%20quietly%20paying%20about%20**twice%20as%20much**%20as%20your%20English-speaking%20friends%20-%0A%20%20%20%20for%20the%20same%20sentence.%20Today%20we%20find%20out%20why%2C%20the%20best%20way%20I%20know%3A%20by%20building%20the%20thing.%0A%0A%20%20%20%20This%20notebook%20runs%20**entirely%20in%20your%20browser**%20(Python%20compiled%20to%20WebAssembly%20-%20no%20server%2C%0A%20%20%20%20nothing%20gets%20uploaded%20anywhere).%20Every%20input%20box%20is%20live%20-%20change%20it%20and%20watch%20the%20outputs%0A%20%20%20%20recompute.%20Along%20the%20way%20you%20will%3A%0A%0A%20%20%20%201.%20Write%20a%20naive%20regex%20tokenizer%20and%20watch%20it%20fall%20apart%20on%20real-world%20text%0A%20%20%20%202.%20Build%20Byte%20Pair%20Encoding%20from%20scratch%20-%20three%20small%20functions%2C%20one%20of%20them%20**yours%20to%20write**%0A%20%20%20%203.%20Train%20it%20on%20the%20opening%20of%20*Pan%20Tadeusz*%20and%20test%20it%20on%20the%20Polish%20Constitution%0A%20%20%20%204.%20Crash%20a%20character-level%20tokenizer%20with%20an%20emoji%20(byte-level%20shrugs%20it%20off)%0A%20%20%20%205.%20Measure%20the%20**Polish%20token%20tax**%20on%20GPT-4's%20real%20tokenizer%0A%0A%20%20%20%20Part%20of%20the%20article%20%5BBuild%20a%20BPE%20tokenizer%5D(https%3A%2F%2Fdemystifai.xyz%2Fen%2Fblog%2Fbuild-a-bpe-tokenizer%2F)%0A%20%20%20%20on%20%5Bdemystifai.xyz%5D(https%3A%2F%2Fdemystifai.xyz%2Fen%2F).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20The%20naive%20tokenizer%0A%0A%20%20%20%20The%20simplest%20idea%3A%20a%20token%20is%20either%20a%20run%20of%20word%20characters%20or%20a%20single%0A%20%20%20%20piece%20of%20punctuation.%20One%20regex%2C%20done.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20re%0A%0A%20%20%20%20def%20naive_tokenize(text)%3A%0A%20%20%20%20%20%20%20%20return%20re.findall(r%22%5Cw%2B%7C%5B%5E%5Cw%5Cs%5D%22%2C%20text%2C%20re.UNICODE)%0A%0A%20%20%20%20naive_tokenize(%22Nie%20lubi%C4%99%20tokenizacji%20w%20j%C4%99zykach%20fleksyjnych.%22)%0A%20%20%20%20return%20(naive_tokenize%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20naive_input%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20value%3D%22Nie%20lubi%C4%99%20tokenizacji%20w%20j%C4%99zykach%20fleksyjnych.%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22**Try%20your%20own%20text**%20-%20any%20language%2C%20any%20weirdness%3A%22%2C%0A%20%20%20%20%20%20%20%20rows%3D2%2C%0A%20%20%20%20)%0A%20%20%20%20naive_input%0A%20%20%20%20return%20(naive_input%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20naive_input%2C%20naive_tokenize%2C%20show_tokens)%3A%0A%20%20%20%20_tokens%20%3D%20naive_tokenize(naive_input.value)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20show_tokens(_tokens)%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22**%7Blen(_tokens)%7D%20tokens**%20from%20%7Blen(naive_input.value)%7D%20characters.%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Where%20the%20naive%20tokenizer%20falls%20apart%0A%0A%20%20%20%20Looks%20fine%20on%20clean%20text.%20Now%20feed%20it%20real-world%20strings%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20naive_tokenize%2C%20show_tokens)%3A%0A%20%20%20%20_examples%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22don%E2%80%99t%20stop%20believing%22%2C%20%22the%20apostrophe%20splits%20*don't*%20into%20three%20tokens%22)%2C%0A%20%20%20%20%20%20%20%20(%22I%20bought%203.5%20kg%20of%20apples%20for%20%2412.99%22%2C%20%22decimal%20numbers%20fall%20apart%20at%20the%20dot%22)%2C%0A%20%20%20%20%20%20%20%20(%22this%20is%20super!!!%20%5CU0001F680%5CU0001F680%22%2C%20%22repeated%20punctuation%20-%20one%20token%20per%20%60!%60%20-%20plus%20emoji%22)%2C%0A%20%20%20%20%20%20%20%20(%22incredibly-fantastically-good%22%2C%20%22hyphenated%20compounds%20shatter%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_text%2C%20_why%20in%20_examples%3A%0A%20%20%20%20%20%20%20%20_toks%20%3D%20naive_tokenize(_text)%0A%20%20%20%20%20%20%20%20_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**%60%7B_text%7D%60**%20-%20%7B_why%7D%20%E2%86%92%20**%7Blen(_toks)%7D%20tokens**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_tokens(_toks)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.vstack(_rows%2C%20gap%3D1.2)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Each%20of%20these%20is%20a%20*design%20decision*%20the%20regex%20makes%20for%20you%2C%20badly.%20And%20there%20is%20a%20deeper%0A%20%20%20%20problem%3A%20a%20word-level%20vocabulary%20for%20an%20inflected%20language%20like%20Polish%20explodes%20-%0A%20%20%20%20*dom%2C%20domu%2C%20domowi%2C%20domem%2C%20domie%2C%20domy%2C%20dom%C3%B3w%2C%20domom%2C%20domami%2C%20domach*%20are%20ten%20different%0A%20%20%20%20%22words%22%20for%20one%20concept.%0A%0A%20%20%20%20%23%23%203.%20Byte%20Pair%20Encoding%20-%20the%20algorithm%20behind%20GPT's%20tokenizer%0A%0A%20%20%20%20BPE%20flips%20the%20problem%20around.%20Instead%20of%20*deciding*%20where%20tokens%20should%20split%2C%20it%20**learns**%0A%20%20%20%20them%20from%20data.%20Think%20of%20it%20like%20meal-prepping%3A%20instead%20of%20cooking%20every%20dish%20from%20raw%0A%20%20%20%20ingredients%20each%20time%2C%20you%20notice%20which%20combinations%20you%20make%20constantly%20and%20prepare%0A%20%20%20%20them%20in%20advance.%20BPE%20does%20exactly%20that%20with%20bytes%3A%0A%0A%20%20%20%201.%20Start%20with%20the%20smallest%20possible%20alphabet%20(we%20will%20use%20**raw%20bytes**%2C%20so%20256%20symbols).%0A%20%20%20%202.%20Count%20every%20adjacent%20pair%20of%20tokens%20in%20the%20corpus.%0A%20%20%20%203.%20Merge%20the%20most%20frequent%20pair%20into%20a%20brand-new%20token.%0A%20%20%20%204.%20Repeat%20until%20the%20vocabulary%20reaches%20the%20size%20you%20want.%0A%0A%20%20%20%20That%20is%20the%20whole%20algorithm.%20Three%20small%20functions.%20The%20first%20one%20is%20yours%20to%20write.%0A%0A%20%20%20%20%23%23%23%20%F0%9F%8F%8B%EF%B8%8F%20Exercise%3A%20count%20the%20pairs%0A%0A%20%20%20%20Fill%20in%20the%20body%20of%20%60get_pair_counts%60%20below.%20The%20assert%20underneath%20tells%20you%20when%20you%20got%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20pair_counts_editor%20%3D%20mo.ui.code_editor(%0A%20%20%20%20%20%20%20%20value%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22def%20get_pair_counts(token_ids)%3A%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20'%20%20%20%20%22%22%22Count%20how%20often%20each%20adjacent%20pair%20of%20tokens%20occurs.%22%22%22%5Cn'%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20counts%20%3D%20%7B%7D%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20%23%20TODO%3A%20count%20the%20pair%20frequencies%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20%23%20hint%3A%20zip(token_ids%2C%20token_ids%5B1%3A%5D)%20walks%20all%20adjacent%20pairs%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20return%20counts%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20language%3D%22python%22%2C%0A%20%20%20%20)%0A%20%20%20%20pair_counts_editor%0A%20%20%20%20return%20(pair_counts_editor%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pair_counts_editor)%3A%0A%20%20%20%20_ns%20%3D%20%7B%7D%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20exec(pair_counts_editor.value%2C%20_ns)%0A%20%20%20%20%20%20%20%20_fn%20%3D%20_ns.get(%22get_pair_counts%22)%0A%20%20%20%20%20%20%20%20if%20_fn%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20NameError(%22keep%20the%20function%20named%20get_pair_counts%22)%0A%20%20%20%20%20%20%20%20assert%20_fn(%5B1%2C%202%2C%203%2C%201%2C%202%5D)%20%3D%3D%20%7B(1%2C%202)%3A%202%2C%20(2%2C%203)%3A%201%2C%20(3%2C%201)%3A%201%7D%0A%20%20%20%20%20%20%20%20_result%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%E2%9C%85%20**Passed!**%20%60get_pair_counts(%5B1%2C%202%2C%203%2C%201%2C%202%5D)%20%3D%3D%20%7B(1%2C%202)%3A%202%2C%20(2%2C%203)%3A%201%2C%20(3%2C%201)%3A%201%7D%60%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20except%20AssertionError%3A%0A%20%20%20%20%20%20%20%20_result%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%E2%9D%8C%20Not%20yet%20-%20%60get_pair_counts(%5B1%2C%202%2C%203%2C%201%2C%202%5D)%60%20should%20equal%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%60%7B(1%2C%202)%3A%202%2C%20(2%2C%203)%3A%201%2C%20(3%2C%201)%3A%201%7D%60.%20Keep%20going.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20except%20Exception%20as%20_e%3A%0A%20%20%20%20%20%20%20%20_result%20%3D%20mo.callout(mo.md(f%22%F0%9F%92%A5%20%60%7Btype(_e).__name__%7D%3A%20%7B_e%7D%60%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20_result%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20def%20get_pair_counts(token_ids)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Count%20how%20often%20each%20adjacent%20pair%20of%20tokens%20occurs.%22%22%22%0A%20%20%20%20%20%20%20%20counts%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20for%20pair%20in%20zip(token_ids%2C%20token_ids%5B1%3A%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%5Bpair%5D%20%3D%20counts.get(pair%2C%200)%20%2B%201%0A%20%20%20%20%20%20%20%20return%20counts%0A%0A%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22%F0%9F%94%93%20Reveal%20the%20solution%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%60%60%60python%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22def%20get_pair_counts(token_ids)%3A%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20'%20%20%20%20%22%22%22Count%20how%20often%20each%20adjacent%20pair%20of%20tokens%20occurs.%22%22%22%5Cn'%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20counts%20%3D%20%7B%7D%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20for%20pair%20in%20zip(token_ids%2C%20token_ids%5B1%3A%5D)%3A%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20%20%20%20%20counts%5Bpair%5D%20%3D%20counts.get(pair%2C%200)%20%2B%201%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20return%20counts%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%60%60%60%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20rest%20of%20the%20notebook%20uses%20this%20reference%20implementation%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22so%20nothing%20downstream%20breaks%20while%20you%20experiment%20above.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%7D)%0A%20%20%20%20return%20(get_pair_counts%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20merge%20step%0A%0A%20%20%20%20Once%20we%20know%20the%20most%20frequent%20pair%2C%20we%20replace%20every%20occurrence%20of%20it%20with%20a%20fresh%20token%20id%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20def%20merge(token_ids%2C%20pair%2C%20new_id)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Replace%20every%20occurrence%20of%20%60pair%60%20with%20the%20token%20%60new_id%60.%22%22%22%0A%20%20%20%20%20%20%20%20new_ids%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20i%20%3D%200%0A%20%20%20%20%20%20%20%20while%20i%20%3C%20len(token_ids)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20i%20%3C%20len(token_ids)%20-%201%20and%20(token_ids%5Bi%5D%2C%20token_ids%5Bi%20%2B%201%5D)%20%3D%3D%20pair%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20new_ids.append(new_id)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20i%20%2B%3D%202%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20new_ids.append(token_ids%5Bi%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20i%20%2B%3D%201%0A%20%20%20%20%20%20%20%20return%20new_ids%0A%0A%20%20%20%20assert%20merge(%5B1%2C%202%2C%203%2C%201%2C%202%5D%2C%20(1%2C%202)%2C%2099)%20%3D%3D%20%5B99%2C%203%2C%2099%5D%0A%20%20%20%20merge(%5B1%2C%202%2C%203%2C%201%2C%202%5D%2C%20(1%2C%202)%2C%2099)%0A%20%20%20%20return%20(merge%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20training%20loop%0A%0A%20%20%20%20Now%20the%20whole%20trainer%20-%20notice%20it%20starts%20from%20%60text.encode(%22utf-8%22)%60%2C%20raw%20bytes%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(get_pair_counts%2C%20merge)%3A%0A%20%20%20%20def%20train_bpe(text%2C%20vocab_size)%3A%0A%20%20%20%20%20%20%20%20token_ids%20%3D%20list(text.encode(%22utf-8%22))%20%20%23%20start%3A%20raw%20bytes%0A%20%20%20%20%20%20%20%20merges%20%3D%20%7B%7D%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20(a%2C%20b)%20-%3E%20new_id%0A%20%20%20%20%20%20%20%20next_id%20%3D%20256%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%200-255%20taken%20by%20the%20bytes%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(vocab_size%20-%20256)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%20%3D%20get_pair_counts(token_ids)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20counts%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20best_pair%20%3D%20max(counts%2C%20key%3Dcounts.get)%0A%20%20%20%20%20%20%20%20%20%20%20%20token_ids%20%3D%20merge(token_ids%2C%20best_pair%2C%20next_id)%0A%20%20%20%20%20%20%20%20%20%20%20%20merges%5Bbest_pair%5D%20%3D%20next_id%0A%20%20%20%20%20%20%20%20%20%20%20%20next_id%20%2B%3D%201%0A%20%20%20%20%20%20%20%20return%20token_ids%2C%20merges%0A%0A%20%20%20%20return%20(train_bpe%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22%F0%9F%A4%94%20Stop%20and%20think%3A%20why%20%60text.encode('utf-8')%60%20and%20not%20characters%3F%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20Because%20bytes%20give%20you%20a%20**closed%2C%20tiny%20alphabet**%3A%20exactly%20256%20symbols%2C%20and%20*every*%0A%20%20%20%20text%20in%20*every*%20language%20is%20expressible%20in%20it.%20No%20character%20on%20Earth%20-%20emoji%2C%20Chinese%2C%0A%20%20%20%20the%20Polish%20%60%C5%BC%60%20-%20can%20ever%20be%20out-of-vocabulary%2C%20because%20at%20worst%20it%20decomposes%20into%0A%20%20%20%202-4%20known%20bytes.%0A%0A%20%20%20%20Start%20from%20characters%20instead%20and%20your%20base%20alphabet%20is%20open-ended%3A%20train%20on%20Polish%0A%20%20%20%20poetry%20and%20the%20first%20%60%F0%9F%9A%80%60%20a%20user%20types%20has%20**no%20id%20at%20all**.%20You%20would%20need%20an%20%60%3Cunk%3E%60%0A%20%20%20%20token%2C%20and%20%60%3Cunk%3E%60%20is%20where%20information%20goes%20to%20die.%0A%0A%20%20%20%20We%20will%20demonstrate%20exactly%20this%20failure%20in%20section%206.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(PAN_TADEUSZ%2C%20mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%23%23%204.%20Train%20it%20on%20Pan%20Tadeusz%0A%0A%20%20%20%20Our%20training%20corpus%3A%20the%20opening%20of%20*Pan%20Tadeusz*%20by%20Adam%20Mickiewicz%20-%0A%20%20%20%20**%7Blen(PAN_TADEUSZ)%3A%2C%7D%20characters%2C%20%7Blen(PAN_TADEUSZ.encode(%22utf-8%22))%3A%2C%7D%20bytes**%0A%20%20%20%20of%2019th-century%20Polish%20verse%20(public%20domain%2C%20via%20%5BWolne%20Lektury%5D(https%3A%2F%2Fwolnelektury.pl)).%0A%0A%20%20%20%20%60%60%60text%0A%20%20%20%20%7BPAN_TADEUSZ%5B%3A220%5D%7D%E2%80%A6%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Pick%20a%20vocabulary%20size%20and%20hit%20**Train**.%20Bigger%20vocabulary%20%3D%20more%20merges%20%3D%20longer%20training%20-%0A%20%20%20%20it%20is%20a%20pure-Python%20loop%20running%20in%20your%20browser%2C%20so%20give%20it%20a%20few%20seconds.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20vocab_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D320%2C%20stop%3D768%2C%20step%3D64%2C%20value%3D512%2C%0A%20%20%20%20%20%20%20%20label%3D%22Target%20vocabulary%20size%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20train_button%20%3D%20mo.ui.run_button(label%3D%22%F0%9F%9A%82%20Train%20tokenizer%22)%0A%20%20%20%20mo.hstack(%5Bvocab_slider%2C%20train_button%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20train_button%2C%20vocab_slider%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20PAN_TADEUSZ%2C%0A%20%20%20%20build_vocab%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20train_bpe%2C%0A%20%20%20%20train_bpe_unicode%2C%0A%20%20%20%20train_button%2C%0A%20%20%20%20vocab_slider%2C%0A)%3A%0A%20%20%20%20if%20train_button.value%3A%0A%20%20%20%20%20%20%20%20with%20mo.status.spinner(subtitle%3D%22Training%20byte-level%20and%20char-level%20BPE%E2%80%A6%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ids_bytes%2C%20bpe_merges%20%3D%20train_bpe(PAN_TADEUSZ%2C%20vocab_slider.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20_ids_chars%2C%20char_merges%2C%20char_stoi%20%3D%20train_bpe_unicode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20PAN_TADEUSZ%2C%20vocab_slider.value%20-%20256%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20vocab_bytes%20%3D%20build_vocab(bpe_merges)%0A%0A%20%20%20%20%20%20%20%20_n_bytes%20%3D%20len(PAN_TADEUSZ.encode(%22utf-8%22))%0A%20%20%20%20%20%20%20%20_sample%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20repr(vocab_bytes%5B_id%5D.decode(%22utf-8%22%2C%20errors%3D%22replace%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_id%20in%20sorted(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(k%20for%20k%20in%20vocab_bytes%20if%20k%20%3E%3D%20256)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20key%3Dlambda%20k%3A%20len(vocab_bytes%5Bk%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20reverse%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%3A12%5D%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_last%20%3D%20list(bpe_merges.items())%5B-8%3A%5D%0A%20%20%20%20%20%20%20%20_merge_rows%20%3D%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20%7B_nid%7D%20%7C%20%60%7Bvocab_bytes%5B_a%5D.decode('utf-8'%2C%20'replace')!r%7D%60%20%2B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%60%7Bvocab_bytes%5B_b%5D.decode('utf-8'%2C%20'replace')!r%7D%60%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%60%7Bvocab_bytes%5B_nid%5D.decode('utf-8'%2C%20'replace')!r%7D%60%20%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20(_a%2C%20_b)%2C%20_nid%20in%20_last%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Trained!**%20%7Blen(bpe_merges)%7D%20merges%20learned.%20The%20corpus%20went%20from%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_n_bytes%3A%2C%7D%20byte-tokens**%20to%20**%7Blen(_ids_bytes)%3A%2C%7D%20BPE%20tokens**%20-%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_n_bytes%20%2F%20len(_ids_bytes)%3A.2f%7D%C3%97%20compression**.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Longest%20learned%20tokens**%20(whole%20Polish%20words%20and%20endings%20emerge%20by%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22themselves%20-%20nobody%20told%20the%20algorithm%20what%20a%20word%20is)%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%22.join(f%22%60%7B_s%7D%60%22%20for%20_s%20in%20_sample)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**The%20last%20few%20merges%3A**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20new%20id%20%7C%20merged%20pair%20%7C%20new%20token%20%7C%5Cn%7C---%7C---%7C---%7C%5Cn%22%20%2B%20_merge_rows%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20bpe_merges%20%3D%20None%0A%20%20%20%20%20%20%20%20char_merges%20%3D%20None%0A%20%20%20%20%20%20%20%20char_stoi%20%3D%20None%0A%20%20%20%20%20%20%20%20vocab_bytes%20%3D%20None%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%F0%9F%91%86%20**Click%20%E2%80%9CTrain%20tokenizer%E2%80%9D**%20to%20run%20BPE%20training%20right%20here%20in%20your%20browser.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_out%0A%20%20%20%20return%20bpe_merges%2C%20char_merges%2C%20char_stoi%2C%20vocab_bytes%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Encoder%20and%20decoder%0A%0A%20%20%20%20Training%20gave%20us%20a%20list%20of%20merges.%20To%20tokenize%20*new*%20text%20we%20replay%20those%20merges%20-%20and%0A%20%20%20%20**order%20matters**%3A%20later%20merges%20build%20on%20top%20of%20earlier%20ones%2C%20so%20we%20must%20always%20apply%20the%0A%20%20%20%20merge%20that%20was%20learned%20earliest%20(lowest%20id)%20first.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(get_pair_counts%2C%20merge)%3A%0A%20%20%20%20def%20encode(text%2C%20merges)%3A%0A%20%20%20%20%20%20%20%20token_ids%20%3D%20list(text.encode(%22utf-8%22))%0A%20%20%20%20%20%20%20%20while%20len(token_ids)%20%3E%3D%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%20%3D%20get_pair_counts(token_ids)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20the%20pair%20with%20the%20lowest%20merge%20id%20%3D%20learned%20earliest%0A%20%20%20%20%20%20%20%20%20%20%20%20pair%20%3D%20min(counts%2C%20key%3Dlambda%20p%3A%20merges.get(p%2C%20float(%22inf%22)))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20pair%20not%20in%20merges%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20token_ids%20%3D%20merge(token_ids%2C%20pair%2C%20merges%5Bpair%5D)%0A%20%20%20%20%20%20%20%20return%20token_ids%0A%0A%20%20%20%20return%20(encode%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Decoding%20is%20the%20easy%20direction%3A%20expand%20every%20id%20back%20to%20the%20bytes%20it%20stands%20for%2C%0A%20%20%20%20concatenate%2C%20decode%20as%20UTF-8.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20def%20build_vocab(merges)%3A%0A%20%20%20%20%20%20%20%20vocab%20%3D%20%7Bi%3A%20bytes(%5Bi%5D)%20for%20i%20in%20range(256)%7D%0A%20%20%20%20%20%20%20%20for%20(a%2C%20b)%2C%20new_id%20in%20merges.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20vocab%5Bnew_id%5D%20%3D%20vocab%5Ba%5D%20%2B%20vocab%5Bb%5D%0A%20%20%20%20%20%20%20%20return%20vocab%0A%0A%20%20%20%20def%20decode(token_ids%2C%20vocab)%3A%0A%20%20%20%20%20%20%20%20return%20b%22%22.join(vocab%5Bi%5D%20for%20i%20in%20token_ids).decode(%22utf-8%22%2C%20errors%3D%22replace%22)%0A%0A%20%20%20%20return%20build_vocab%2C%20decode%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20test_input%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20value%3D%22Rzeczpospolita%20Polska%20przestrzega%20wi%C4%85%C5%BC%C4%85cego%20j%C4%85%20prawa%20mi%C4%99dzynarodowego.%22%2C%0A%20%20%20%20%20%20%20%20label%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**End-to-end%20test.**%20This%20sentence%20is%20Article%209%20of%20the%20Polish%20Constitution%20-%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22our%20tokenizer%20has%20*never%20seen%20it*%20(it%20trained%20on%20romantic%20poetry).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Type%20anything%20you%20like%3A%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20rows%3D2%2C%0A%20%20%20%20)%0A%20%20%20%20test_input%0A%20%20%20%20return%20(test_input%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20bpe_merges%2C%0A%20%20%20%20decode%2C%0A%20%20%20%20encode%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20naive_tokenize%2C%0A%20%20%20%20show_tokens%2C%0A%20%20%20%20test_input%2C%0A%20%20%20%20vocab_bytes%2C%0A)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20bpe_merges%20is%20None%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22%E2%AC%86%EF%B8%8F%20Train%20the%20tokenizer%20in%20section%204%20first.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20_text%20%3D%20test_input.value%0A%20%20%20%20_ids%20%3D%20encode(_text%2C%20bpe_merges)%0A%20%20%20%20_naive%20%3D%20naive_tokenize(_text)%0A%20%20%20%20_n_bytes%20%3D%20len(_text.encode(%22utf-8%22))%0A%20%20%20%20_roundtrip%20%3D%20decode(_ids%2C%20vocab_bytes)%0A%20%20%20%20_pieces%20%3D%20%5Bvocab_bytes%5B_i%5D.decode(%22utf-8%22%2C%20errors%3D%22replace%22)%20for%20_i%20in%20_ids%5D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20show_tokens(_pieces)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20representation%20%7C%20count%20%7C%5Cn%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20raw%20UTF-8%20bytes%20%7C%20%7B_n_bytes%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20naive%20regex%20tokens%20%7C%20%7Blen(_naive)%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20**our%20BPE%20tokens**%20%7C%20**%7Blen(_ids)%7D**%20%7C%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Lossless%20roundtrip%3A%20%60decode(encode(text))%20%3D%3D%20text%60%20%E2%86%92%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_roundtrip%20%3D%3D%20_text%7D**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20%60%EF%BF%BD%60%20pill%20above%20just%20means%20one%20token%20holds%20*part*%20of%20a%20multi-byte%20character%20-%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20bytes%20still%20reassemble%20perfectly%20on%20decode.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206.%20Bytes%20vs%20Unicode%20characters%20-%20the%20OOV%20showdown%0A%0A%20%20%20%20Section%203%20claimed%20byte-level%20BPE%20can%20never%20hit%20an%20unknown%20symbol%2C%20and%20character-level%0A%20%20%20%20BPE%20can.%20Let's%20prove%20it.%20Same%20algorithm%2C%20but%20the%20base%20alphabet%20is%20now%20*the%20characters%0A%20%20%20%20seen%20in%20the%20training%20corpus*%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(get_pair_counts%2C%20merge)%3A%0A%20%20%20%20def%20train_bpe_unicode(text%2C%20num_merges)%3A%0A%20%20%20%20%20%20%20%20alphabet%20%3D%20sorted(set(text))%0A%20%20%20%20%20%20%20%20stoi%20%3D%20%7Bch%3A%20i%20for%20i%2C%20ch%20in%20enumerate(alphabet)%7D%20%20%23%20char%20-%3E%20id%0A%20%20%20%20%20%20%20%20ids%20%3D%20%5Bstoi%5Bch%5D%20for%20ch%20in%20text%5D%0A%20%20%20%20%20%20%20%20merges_u%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20next_id%20%3D%20len(alphabet)%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(num_merges)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%20%3D%20get_pair_counts(ids)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20counts%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20best%20%3D%20max(counts%2C%20key%3Dcounts.get)%0A%20%20%20%20%20%20%20%20%20%20%20%20ids%20%3D%20merge(ids%2C%20best%2C%20next_id)%0A%20%20%20%20%20%20%20%20%20%20%20%20merges_u%5Bbest%5D%20%3D%20next_id%0A%20%20%20%20%20%20%20%20%20%20%20%20next_id%20%2B%3D%201%0A%20%20%20%20%20%20%20%20return%20ids%2C%20merges_u%2C%20stoi%0A%0A%20%20%20%20def%20encode_unicode(text%2C%20merges_u%2C%20stoi)%3A%0A%20%20%20%20%20%20%20%20ids%20%3D%20%5Bstoi%5Bch%5D%20for%20ch%20in%20text%5D%20%20%23%20KeyError%20on%20any%20unseen%20character!%0A%20%20%20%20%20%20%20%20while%20len(ids)%20%3E%3D%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%20%3D%20get_pair_counts(ids)%0A%20%20%20%20%20%20%20%20%20%20%20%20pair%20%3D%20min(counts%2C%20key%3Dlambda%20p%3A%20merges_u.get(p%2C%20float(%22inf%22)))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20pair%20not%20in%20merges_u%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20ids%20%3D%20merge(ids%2C%20pair%2C%20merges_u%5Bpair%5D)%0A%20%20%20%20%20%20%20%20return%20ids%0A%0A%20%20%20%20return%20encode_unicode%2C%20train_bpe_unicode%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20bpe_merges%2C%0A%20%20%20%20char_merges%2C%0A%20%20%20%20char_stoi%2C%0A%20%20%20%20decode%2C%0A%20%20%20%20encode%2C%0A%20%20%20%20encode_unicode%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20test_input%2C%0A%20%20%20%20vocab_bytes%2C%0A)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20bpe_merges%20is%20None%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22%E2%AC%86%EF%B8%8F%20Train%20the%20tokenizer%20in%20section%204%20first.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20_text%20%3D%20test_input.value%0A%20%20%20%20_byte_ids%20%3D%20encode(_text%2C%20bpe_merges)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20_char_ids%20%3D%20encode_unicode(_text%2C%20char_merges%2C%20char_stoi)%0A%20%20%20%20%20%20%20%20_char_cell%20%3D%20f%22**%7Blen(_char_ids)%7D**%20tokens%22%0A%20%20%20%20except%20KeyError%20as%20_e%3A%0A%20%20%20%20%20%20%20%20_char_cell%20%3D%20f%22%F0%9F%92%A5%20%60KeyError%3A%20%7B_e%7D%60%20-%20character%20not%20in%20vocabulary%22%0A%0A%20%20%20%20_emoji_text%20%3D%20%22Litwo%2C%20ojczyzno%20moja!%20%F0%9F%9A%80%22%0A%20%20%20%20_emoji_byte%20%3D%20encode(_emoji_text%2C%20bpe_merges)%0A%20%20%20%20_emoji_roundtrip%20%3D%20decode(_emoji_byte%2C%20vocab_bytes)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20encode_unicode(_emoji_text%2C%20char_merges%2C%20char_stoi)%0A%20%20%20%20%20%20%20%20_emoji_char%20%3D%20%22encoded%20fine%20(surprising%20-%20is%20%F0%9F%9A%80%20in%20Pan%20Tadeusz%3F)%22%0A%20%20%20%20except%20KeyError%20as%20_e%3A%0A%20%20%20%20%20%20%20%20_emoji_char%20%3D%20f%22%F0%9F%92%A5%20%60KeyError%3A%20%7B_e%7D%60%22%0A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20**Your%20sentence**%20(%60%7Blen(_text)%7D%20chars%60)%3A%20byte-level%20BPE%20%E2%86%92%20**%7Blen(_byte_ids)%7D**%20tokens%2C%0A%20%20%20%20char-level%20BPE%20%E2%86%92%20%7B_char_cell%7D.%0A%0A%20%20%20%20A%20close%20race.%20Char-level%20starts%20with%20a%20head%20start%20for%20Polish%20(%60%C5%BC%60%20is%201%20character%20but%0A%20%20%20%202%20bytes)%2C%20yet%20with%20the%20same%20number%20of%20merges%20byte-level%20catches%20up.%20So%20why%20does%20every%0A%20%20%20%20production%20tokenizer%20use%20bytes%3F%20Feed%20both%20the%20same%20sentence%20with%20an%20emoji%20Mickiewicz%0A%20%20%20%20somehow%20never%20used%3A%0A%0A%20%20%20%20%7C%20tokenizer%20%7C%20%60%22%7B_emoji_text%7D%22%60%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20byte-level%20%7C%20%7Blen(_emoji_byte)%7D%20tokens%2C%20decodes%20back%20to%20%60%7B_emoji_roundtrip!r%7D%60%20%7C%0A%20%20%20%20%7C%20char-level%20%7C%20%7B_emoji_char%7D%20%7C%0A%0A%20%20%20%20The%20byte-level%20tokenizer%20has%20never%20seen%20%60%F0%9F%9A%80%60%20either%20-%20but%20%60%F0%9F%9A%80%60%20is%20just%20four%20bytes%0A%20%20%20%20(%60f0%209f%209a%2080%60)%2C%20and%20all%20256%20byte%20values%20are%20in%20the%20vocabulary%20by%20construction.%0A%20%20%20%20Graceful%20degradation%20instead%20of%20a%20crash.%20That%20is%20the%20trade%3A%20**slightly%20longer%20sequences%0A%20%20%20%20for%20a%20guarantee%20of%20zero%20out-of-vocabulary%20failures.**%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%207.%20How%20the%20pros%20do%20it%3A%20tiktoken%0A%0A%20%20%20%20OpenAI's%20%5Btiktoken%5D(https%3A%2F%2Fgithub.com%2Fopenai%2Ftiktoken)%20implements%20exactly%20this%0A%20%20%20%20byte-level%20BPE%20-%20just%20trained%20on%20*terabytes*%20instead%20of%20one%20poem%2C%20with%20~100k%20merges%0A%20%20%20%20instead%20of%20~256.%20Let's%20try%20to%20import%20it%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20import%20tiktoken%0A%20%20%20%20%20%20%20%20enc_gpt4%20%3D%20tiktoken.get_encoding(%22cl100k_base%22)%20%20%23%20GPT-4's%20tokenizer%0A%20%20%20%20%20%20%20%20tiktoken_live%20%3D%20True%0A%20%20%20%20%20%20%20%20tiktoken_err%20%3D%20None%0A%20%20%20%20except%20Exception%20as%20_e%3A%0A%20%20%20%20%20%20%20%20enc_gpt4%20%3D%20None%0A%20%20%20%20%20%20%20%20tiktoken_live%20%3D%20False%0A%20%20%20%20%20%20%20%20tiktoken_err%20%3D%20type(_e).__name__%0A%0A%20%20%20%20tiktoken_live%0A%20%20%20%20return%20enc_gpt4%2C%20tiktoken_err%2C%20tiktoken_live%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(enc_gpt4%2C%20mo%2C%20tiktoken_err%2C%20tiktoken_live)%3A%0A%20%20%20%20_text_pl%20%3D%20%22Niezaprzeczalnie%20skomplikowana%20morfosyntaktyczna%20struktura%20j%C4%99zyka%20polskiego.%22%0A%20%20%20%20_text_en%20%3D%20%22The%20undeniably%20complicated%20morphosyntactic%20structure%20of%20the%20English%20language.%22%0A%20%20%20%20if%20tiktoken_live%3A%0A%20%20%20%20%20%20%20%20_pl_ids%20%3D%20enc_gpt4.encode(_text_pl)%0A%20%20%20%20%20%20%20%20_en_ids%20%3D%20enc_gpt4.encode(_text_en)%0A%20%20%20%20%20%20%20%20_pl_n%2C%20_en_n%20%3D%20len(_pl_ids)%2C%20len(_en_ids)%0A%20%20%20%20%20%20%20%20_pl_pieces%20%3D%20%22%20%22.join(f%22%60%7Benc_gpt4.decode(%5B_i%5D)%7D%60%22%20for%20_i%20in%20_pl_ids)%0A%20%20%20%20%20%20%20%20_en_pieces%20%3D%20%22%20%22.join(f%22%60%7Benc_gpt4.decode(%5B_i%5D)%7D%60%22%20for%20_i%20in%20_en_ids)%0A%20%20%20%20%20%20%20%20_note%20%3D%20%22%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%23%20Precomputed%20with%20tiktoken%200.9%20%2F%20cl100k_base%20on%202026-07-02%20-%20the%20exact%0A%20%20%20%20%20%20%20%20%23%20code%20above%2C%20run%20locally.%20See%20the%20callout%20for%20why%20it%20cannot%20run%20here.%0A%20%20%20%20%20%20%20%20_pl_n%2C%20_en_n%20%3D%2032%2C%2016%0A%20%20%20%20%20%20%20%20_pl_pieces%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%60N%60%20%60iez%60%20%60ap%60%20%60rz%60%20%60ecz%60%20%60al%60%20%60nie%60%20%60%20sk%60%20%60om%60%20%60pl%60%20%60ik%60%20%60ow%60%20%60ana%60%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%60%20m%60%20%60orf%60%20%60os%60%20%60y%60%20%60nt%60%20%60akt%60%20%60y%60%20%60czna%60%20%60%20struktur%60%20%60a%60%20%60%20j%60%20%60%C4%99%60%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%60z%60%20%60yka%60%20%60%20pol%60%20%60sk%60%20%60iego%60%20%60.%60%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_en_pieces%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%60The%60%20%60%20und%60%20%60eni%60%20%60ably%60%20%60%20complicated%60%20%60%20morph%60%20%60os%60%20%60y%60%20%60nt%60%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%60actic%60%20%60%20structure%60%20%60%20of%60%20%60%20the%60%20%60%20English%60%20%60%20language%60%20%60.%60%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_note%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Why%20precomputed%20numbers%3F**%20Plot%20twist%3A%20%60tiktoken%60's%20Rust%20core%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22nowadays%20ships%20with%20%5BPyodide%5D(https%3A%2F%2Fpyodide.org)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(it%20was%20compiled%20to%20WebAssembly%20after%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Bpyodide%233875%5D(https%3A%2F%2Fgithub.com%2Fpyodide%2Fpyodide%2Fissues%2F3875))%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22so%20the%20%60import%60%20itself%20works%20in%20your%20browser.%20But%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%60get_encoding('cl100k_base')%60%20then%20tries%20to%20**download%20its%20merge%20table%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22from%20OpenAI's%20CDN**%2C%20and%20the%20browser%20sandbox%20blocked%20that%20request%20here%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(%60%7Btiktoken_err%7D%60).%20The%20tokenizer%20*code*%20is%201%25%20of%20the%20artifact%20-%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22learned%20merges%20are%20the%20other%2099%25%2C%20and%20without%20them%20tiktoken%20is%20an%20empty%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22shell.%20So%20the%20numbers%20below%20are%20**precomputed%20locally**%20with%20the%20exact%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22code%20above%20-%20run%20it%20on%20your%20machine%20and%20you%20will%20reproduce%20them.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_body%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20enc%20%3D%20tiktoken.get_encoding(%22cl100k_base%22)%20%20%20%23%20GPT-4's%20tokenizer%0A%20%20%20%20len(enc.encode(text_pl))%2C%20len(enc.encode(text_en))%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Two%20sentences%2C%20same%20meaning%2C%20same%20length%20(~77%20characters)%3A%0A%0A%20%20%20%20%7C%20%7C%20tokens%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20%F0%9F%87%B5%F0%9F%87%B1%20*%7B_text_pl%7D*%20%7C%20**%7B_pl_n%7D**%20%7C%0A%20%20%20%20%7C%20%F0%9F%87%AC%F0%9F%87%A7%20*%7B_text_en%7D*%20%7C%20**%7B_en_n%7D**%20%7C%0A%0A%20%20%20%20**Polish%20costs%20%7B_pl_n%20%2F%20_en_n%3A.0f%7D%C3%97%20more%20tokens.**%20Look%20at%20the%20pieces%3A%0A%0A%20%20%20%20PL%3A%20%7B_pl_pieces%7D%0A%0A%20%20%20%20EN%3A%20%7B_en_pieces%7D%0A%0A%20%20%20%20English%20gets%20whole%20words%20(%60%20complicated%60%2C%20%60%20structure%60)%3B%20Polish%20gets%20syllable%20confetti.%0A%20%20%20%20cl100k_base%20trained%20mostly%20on%20English%2C%20so%20English%20pairs%20won%20the%20merge%20race.%20Every%20LLM%0A%20%20%20%20API%20bill%2C%20every%20context%20window%2C%20every%20latency%20budget%20-%20a%20Polish%20product%20pays%20this%0A%20%20%20%20tax%20on%20all%20of%20them.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B_note%2C%20_body%5D)%20if%20_note%20else%20_body%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%208.%20Trade-offs%20the%20toy%20version%20hides%0A%0A%20%20%20%20-%20**Special%20tokens**%20(%60%3C%7Cendoftext%7C%3E%60%2C%20the%20%60system%60%2F%60user%60%2F%60assistant%60%20role%20markers)%20do%0A%20%20%20%20%20%20not%20come%20from%20BPE.%20They%20are%20added%20*manually*%20with%20reserved%20ids%20and%20must%20stay%20**atomic**%20-%0A%20%20%20%20%20%20the%20tokenizer%20must%20never%20produce%20them%20from%20user%20text%2C%20or%20you%20get%20prompt%20injection%20at%0A%20%20%20%20%20%20the%20token%20level.%0A%20%20%20%20-%20**Vocabulary%20size%20is%20a%20hyperparameter.**%20Bigger%20vocab%20%3D%20shorter%20sequences%2C%20but%20a%20larger%0A%20%20%20%20%20%20embedding%20matrix%20and%20rarer%20tokens%20that%20the%20model%20sees%20less%20often%20during%20training.%0A%20%20%20%20%20%20Production%20models%20sit%20between%2032k%20and%20100k%2B.%0A%20%20%20%20-%20**The%20tokenizer%20is%20a%20separate%20artifact**%2C%20versioned%20independently%20of%20the%20model%20weights.%0A%20%20%20%20%20%20Swap%20it%20and%20the%20model%20produces%20garbage%20*without%20a%20single%20error*%20-%20embeddings%20are%20looked%0A%20%20%20%20%20%20up%20by%20token%20id%2C%20and%20the%20ids%20now%20mean%20different%20things.%0A%20%20%20%20-%20**Pretokenization%20comes%20before%20BPE.**%20GPT-2%20style%20tokenizers%20first%20split%20text%20with%20a%0A%20%20%20%20%20%20regex%20on%20word-ish%20boundaries%20(sound%20familiar%3F%20that%20is%20our%20naive%20tokenizer%2C%20promoted%20to%0A%20%20%20%20%20%20a%20preprocessing%20step)%2C%20then%20run%20BPE%20inside%20each%20chunk.%20Production%20tokenizers%20rarely%0A%20%20%20%20%20%20train%20on%20a%20raw%20byte%20stream.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(KONSTYTUCJA%2C%20bpe_merges%2C%20encode%2C%20mo%2C%20naive_tokenize%2C%20vocab_bytes)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20bpe_merges%20is%20None%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%209.%20Grand%20finale%5Cn%5Cn%E2%AC%86%EF%B8%8F%20Train%20the%20tokenizer%20in%20section%204%20first.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20from%20collections%20import%20Counter%0A%0A%20%20%20%20with%20mo.status.spinner(subtitle%3D%22Tokenizing%20the%20Constitution%E2%80%A6%22)%3A%0A%20%20%20%20%20%20%20%20_ids_k%20%3D%20encode(KONSTYTUCJA%2C%20bpe_merges)%0A%20%20%20%20_bytes_k%20%3D%20len(KONSTYTUCJA.encode(%22utf-8%22))%0A%20%20%20%20_top%20%3D%20Counter(_ids_k).most_common(12)%0A%20%20%20%20_top_str%20%3D%20%22%20%22.join(%0A%20%20%20%20%20%20%20%20f%22%60%7Bvocab_bytes%5B_i%5D.decode('utf-8'%2C%20'replace')!r%7D%60%C3%97%7B_n%7D%22%20for%20_i%2C%20_n%20in%20_top%0A%20%20%20%20)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%23%23%209.%20Grand%20finale%3A%20poetry%20meets%20law%0A%0A%20%20%20%20A%20tokenizer%20trained%20on%20**1834%20romantic%20verse**%2C%20applied%20to%20**Chapter%201%20of%20the%201997%0A%20%20%20%20Polish%20Constitution**%20(%7Blen(KONSTYTUCJA)%3A%2C%7D%20characters%20it%20has%20never%20seen)%3A%0A%0A%20%20%20%20%7C%20%7C%20count%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20raw%20UTF-8%20bytes%20%7C%20%7B_bytes_k%3A%2C%7D%20%7C%0A%20%20%20%20%7C%20naive%20regex%20tokens%20%7C%20%7Blen(naive_tokenize(KONSTYTUCJA))%3A%2C%7D%20%7C%0A%20%20%20%20%7C%20**our%20BPE%20tokens**%20%7C%20**%7Blen(_ids_k)%3A%2C%7D**%20%7C%0A%0A%20%20%20%20**%7B_bytes_k%20%2F%20len(_ids_k)%3A.2f%7D%C3%97%20compression**%20over%20raw%20bytes%2C%20learned%20from%20a%20poem.%0A%20%20%20%20The%20most%20frequent%20tokens%20in%20the%20Constitution%20according%20to%20Mickiewicz%3A%0A%0A%20%20%20%20%7B_top_str%7D%0A%0A%20%20%20%20Polish%20inflection%20patterns%20(%60%20si%C4%99%60%2C%20%60ie%60%2C%20%60%20po%60%2C%20%60ych%60%E2%80%A6)%20transfer%20across%20163%20years%20and%20a%0A%20%20%20%20genre%20gap%20-%20that%20is%20the%20magic%20of%20subword%20tokenization.%20Train%20on%20*your*%20domain%20and%20the%0A%20%20%20%20compression%20only%20gets%20better.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20Built%20by%20%5BTomasz%20Gu%C5%9Bciora%5D(https%3A%2F%2Fdemystifai.xyz%2Fen%2F)%20%C2%B7%0A%20%20%20%20%5BDemystifAI%5D(https%3A%2F%2Fdemystifai.blog)%20%C2%B7%0A%20%20%20%20back%20to%20the%20article%3A%20%5BBuild%20a%20BPE%20tokenizer%5D(https%3A%2F%2Fdemystifai.xyz%2Fen%2Fblog%2Fbuild-a-bpe-tokenizer%2F)%0A%0A%20%20%20%20*Corpus%20credits%3A%20Adam%20Mickiewicz%2C%20%22Pan%20Tadeusz%22%20via%20%5BWolne%20Lektury%5D(https%3A%2F%2Fwolnelektury.pl%2Fkatalog%2Flektura%2Fpan-tadeusz%2F)%0A%20%20%20%20(public%20domain)%3B%20Konstytucja%20RP%20via%20%5BWikisource%5D(https%3A%2F%2Fpl.wikisource.org%2Fwiki%2FKonstytucja_Rzeczypospolitej_Polskiej)%20(public%20domain).*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A