conda-forge / packages / tokenizers

• 1

Fast State-of-the-Art Tokenizers optimized for Research and Production

copied from cf-staging / tokenizers

• Conda
• Files
• Labels
• Badges

Filters

Type: All

• All
• conda

Version: 0.19.1

• All
• 0.21.1
• 0.21.0
• 0.20.4
• 0.20.3
• 0.20.2
• 0.20.1
• 0.20.0
• 0.19.1
• 0.19.0
• 0.15.2
• 0.15.1
• 0.15.0
• 0.14.1
• 0.14.0
• 0.13.3
• 0.13.2
• 0.13.1
• 0.12.1
• 0.12.0
• 0.11.6
• 0.11.5
• 0.11.4
• 0.11.3
• 0.11.2
• 0.11.1
• 0.11.0
• 0.10.3
• 0.10.1
• 0.9.4
• 0.9.3
• 0.8.1
• 0.8.0

Label: All

• All
• Files with no label
• main