Movatterモバイル変換


[0]ホーム

URL:


Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Sign up
Appearance settings

Multiple lines f-string with non-ASCII breaks tokenize.generate_tokens in 3.12.4 #120343

Closed
Assignees
pablogsallysnikolaou
Labels
interpreter-core(Objects, Python, Grammar, and Parser dirs)type-bugAn unexpected behavior, bug, or error
@leemars

Description

@leemars

Bug report

Bug description:

importioimporttokenizesrc='''\a = f"""    Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli"""'''tokens=list(tokenize.generate_tokens(io.StringIO(src).readline))fortokenintokens:print(token)asserttokens[4].start== (2,68),tokens[4].start

Python 3.12.3 (correct)

python--versionPython3.12.3pythonc.pyTokenInfo(type=1 (NAME),string='a',start=(1,0),end=(1,1),line='a = f"""\n')TokenInfo(type=55 (OP),string='=',start=(1,2),end=(1,3),line='a = f"""\n')TokenInfo(type=61 (FSTRING_START),string='f"""',start=(1,4),end=(1,8),line='a = f"""\n')TokenInfo(type=62 (FSTRING_MIDDLE),string='\n    Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli',start=(1,8),end=(2,68),line='a = f"""\n    Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli"""\n')TokenInfo(type=63 (FSTRING_END),string='"""',start=(2,68),end=(2,71),line='    Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli"""\n')TokenInfo(type=4 (NEWLINE),string='\n',start=(2,71),end=(2,72),line='    Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli"""\n')TokenInfo(type=0 (ENDMARKER),string='',start=(3,0),end=(3,0),line='')

Python 3.12.4 (broken)

python--versionPython3.12.4pythonc.pyTokenInfo(type=1 (NAME),string='a',start=(1,0),end=(1,1),line='a = f"""\n')TokenInfo(type=55 (OP),string='=',start=(1,2),end=(1,3),line='a = f"""\n')TokenInfo(type=61 (FSTRING_START),string='f"""',start=(1,4),end=(1,8),line='a = f"""\n')TokenInfo(type=62 (FSTRING_MIDDLE),string='\n    Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli',start=(1,8),end=(2,68),line='a = f"""\n    Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli"""\n')TokenInfo(type=63 (FSTRING_END),string='"""',start=(2,72),end=(2,75),line='    Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli"""\n')TokenInfo(type=4 (NEWLINE),string='\n',start=(2,75),end=(2,76),line='    Autorzy, którzy tą jednostkę mają wpisani jako AKTUALNA -- czyli"""\n')TokenInfo(type=0 (ENDMARKER),string='',start=(3,0),end=(3,0),line='')Traceback (mostrecentcalllast):File"/private/tmp/flake8/c.py",line13,in<module>asserttokens[4].start== (2,68),tokens[4].start^^^^^^^^^^^^^^^^^^^^^^^^^^AssertionError: (2,72)

More info

I found previous similar issue here:#112943

CPython versions tested on:

3.12

Operating systems tested on:

macOS

Linked PRs

Metadata

Metadata

Labels

interpreter-core(Objects, Python, Grammar, and Parser dirs)type-bugAn unexpected behavior, bug, or error

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions


    [8]ページ先頭

    ©2009-2025 Movatter.jp