Are you sure you want to delete this access key?
comments | description | keywords |
---|---|---|
true | Ultralytics рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛ рдореЗрдВ MobileSAM рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдФрд░ рдЙрд╕рдХреЗ рдкреНрд░рд╛рдпреЛрдЧрд╢рд╛рд▓рд╛ рддреБрд▓рдирд╛рддреНрдордХ рд╡рд┐рд╡реЗрдЪрди, рдореВрд▓ SAM рдХреЗ рд╕рд╛рде рддреБрд▓рдирд╛ рдФрд░ рдЗрд╕реЗ Ultralytics рдврд╛рдВрдЪреЗ рдореЗрдВ рдбрд╛рдЙрдирд▓реЛрдб рдФрд░ рдкрд░реАрдХреНрд╖рдг рдХреИрд╕реЗ рдХрд░реЗрдВред рдЕрдкрдиреЗ рдореЛрдмрд╛рдЗрд▓ рдРрдкреНрд▓рд┐рдХреЗрд╢рди рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛рдПрдВред | MobileSAM, Ultralytics, SAM, рдореЛрдмрд╛рдЗрд▓ рдРрдкреНрд▓рд┐рдХреЗрд╢рди, Arxiv, GPU, API, рдЫрд╡рд┐ рдПрдирдХреЛрдбрд░, рдорд╛рд╕реНрдХ рдбрд┐рдХреЛрдбрд░, рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб, рдкрд░реАрдХреНрд╖рдг рдкрджреНрдзрддрд┐ |
рдореЛрдмрд╛рдЗрд▓SAM рдкреЗрдкрд░ arXiv рдкрд░ рдЕрдм рдЙрдкрд▓рдмреНрдз рд╣реИред
MobileSAM рдХреЗ рд╕рдВрдЪрд╛рд▓рди рдХрд╛ рдПрдХ рдкреНрд░рджрд░реНрд╢рди рдХрдореНрдкреНрдпреВрдЯрд░ рдкрд░ рдкрд╣реБрдВрдЪрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ рдЙрд╕ рдбреЗрдореЛ рд▓рд┐рдВрдХ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗред Mac i5 CPU рдкрд░ рдкреНрд░рджрд░реНрд╢рди рдХрд░рдиреЗ рдореЗрдВ рд▓рдЧрднрдЧ 3 рд╕реЗрдХрдВрдб рдХрд╛ рд╕рдордп рд▓рдЧрддрд╛ рд╣реИред рд╣рдЧрд┐рдВрдЧ рдлреЗрд╕ рдбреЗрдореЛ рдкрд░рд┐рд╡реЗрд╢ рдФрд░ рдХрдо рдкреНрд░рджрд░реНрд╢рди рд╡рд╛рд▓реЗ рд╕реАрдкрд┐рдпреВ рдиреЗ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рдХреЛ рдзреАрдореА рдХрд┐рдпрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдпрд╣ рдЕрднреА рднреА рдкреНрд░рднрд╛рд╡реА рдврдВрдЧ рд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред
рдореЛрдмрд╛рдЗрд▓SAM Grounding-SAM, AnyLabeling, рдФрд░ Segment Anything in 3D рд╕рд╣рд┐рдд рд╡рд┐рднрд┐рдиреНрди рдкрд░рд┐рдпреЛрдЬрдирд╛рдУрдВ рдореЗрдВ рд▓рд╛рдЧреВ рд╣реИред
рдореЛрдмрд╛рдЗрд▓SAM рдПрдХ рдПрдХрд▓ GPU рдкрд░ 100k рдбреЗрдЯрд╛рд╕реЗрдЯ (рдореВрд▓ рдЫрд╡рд┐ рдХрд╛ 1%) рдХреЗ рд╕рд╛рде рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╣реЛрддрд╛ рд╣реИ рдФрд░ рдЗрд╕рдореЗрдВ рдПрдХ рджрд┐рди рд╕реЗ рдХрдо рд╕рдордп рд▓рдЧрддрд╛ рд╣реИред рдЗрд╕ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рд▓рд┐рдП рдХреЛрдб рднрд╡рд┐рд╖реНрдп рдореЗрдВ рдЙрдкрд▓рдмреНрдз рдХрд░рд╛рдпрд╛ рдЬрд╛рдПрдЧрд╛ред
рдЗрд╕ рддрд╛рд▓рд┐рдХрд╛ рдореЗрдВ рдЙрдкрд▓рдмреНрдз рдореЙрдбрд▓, рдЙрдирдХреЗ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди, рд╡реЗ рдХрд╛рд░реНрдп рдЬрд┐рдиреНрд╣реЗрдВ рд╡реЗ рд╕рдорд░реНрдерди рдХрд░рддреЗ рд╣реИрдВ, рдФрд░ рдЙрдирдХрд╛ рдЕрднрд┐рдиреНрдирддрдо рд╕рдВрдЧрддрддрд╛ рдХреЗ рд╕рд╛рде рд╡рд┐рднрд┐рдиреНрди рдСрдкрд░реЗрдЯрд┐рдВрдЧ рдореЛрдб (рдЗрдВрдлрд░реЗрдВрд╕, рд╡реИрдзрд╛рдирд┐рдХреА, рдкреНрд░рд╢рд┐рдХреНрд╖рдг, рдФрд░ рдирд┐рд░реНрдпрд╛рдд) рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд┐рдП рдЧрдП рд╣реИрдВ, рдЬрд┐рдиреНрд╣реЗрдВ рд╕рдорд░реНрдерд┐рдд рдореЛрдб рдХреЗ рд▓рд┐рдП тЬЕ emoji рдФрд░ рдЕрд╕рдорд░реНрдерд┐рдд рдореЛрдб рдХреЗ рд▓рд┐рдП тЭМ emoji рд╕реЗ рджрд░реНрд╢рд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред
рдореЙрдбрд▓ рдкреНрд░рдХрд╛рд░ | рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди | рд╕рдорд░реНрдерд┐рдд рдХрд╛рд░реНрдп | рдЗрдВрдлрд░реЗрдВрд╕ | рд╡реИрдзрд╛рдирд┐рдХреА | рдкреНрд░рд╢рд┐рдХреНрд╖рдг | рдирд┐рд░реНрдпрд╛рдд |
---|---|---|---|---|---|---|
MobileSAM | mobile_sam.pt |
рдЗрдВрд╕реНрдЯреЗрдВрд╕ рд╕реЗрдЧрдореЗрдВрдЯреЗрд╢рди | тЬЕ | тЭМ | тЭМ | тЬЕ |
MobileSAM рдореВрд▓ SAM рдХреА рддрд░рдл рд╕реЗ рд╕рдорд╛рди рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдмрд░рдХрд░рд╛рд░ рд░рдЦрддрд╛ рд╣реИ, рд╣рдордиреЗ рдореВрд▓ рдХреА рдкреНрд░реА-рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ, рдкреЛрд╕реНрдЯ-рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдФрд░ рд╕рднреА рдЕрдиреНрдп рдЗрдВрдЯрд░рдлреЗрд╕реЛрдВ рдХреЛ рд╕рдореНрдорд┐рд▓рд┐рдд рдХрд░ рджрд┐рдпрд╛ рд╣реИред рдЗрд╕рд▓рд┐рдП, рд╡рд░реНрддрдорд╛рди рдореЗрдВ рдореВрд▓ SAM рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рд▓реЛрдЧ рдорд┐рдирд┐рдорд▓ рдкреНрд░рдпрд╛рд╕ рдХреЗ рд╕рд╛рде MobileSAM рдореЗрдВ рдЯреНрд░рд╛рдВрд╕рд┐рд╢рди рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред
MobileSAM рдореВрд▓ SAM рдХреЗ рд╕рдорд╛рди рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдореЗрдВ рдЙрддреНрддрдо рдкреНрд░рджрд░реНрд╢рди рдХрд░рддрд╛ рд╣реИ рдФрд░ рдХреЗрд╡рд▓ рдЫрд╡рд┐ рдПрдиреНрдХреЛрдбрд░ рдореЗрдВ рдкрд░рд┐рд╡рд░реНрддрди рд╣реЛрддрд╛ рд╣реИред рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ, рд╣рдо рдореВрд▓ рднрд╛рд░реАрд╡рдЬреНрдЮрд╛рдирд┐рдХ ViT-H рдПрдиреНрдХреЛрдбрд░ (632M) рдХреЛ рдПрдХ рдЫреЛрдЯреЗ Tiny-ViT (5M) рд╕реЗ рдмрджрд▓рддреЗ рд╣реИрдВред рдПрдХрд▓ GPU рдкрд░ MobileSAM рд▓рдЧрднрдЧ 12ms рдкреНрд░рддрд┐ рдЫрд╡рд┐ рдкрд░ рдСрдкрд░реЗрдЯ рдХрд░рддрд╛ рд╣реИ: 8ms рдЫрд╡рд┐ рдПрдиреНрдХреЛрдбрд░ рдкрд░ рдФрд░ 4ms рдорд╛рд╕реНрдХ рдбрд┐рдХреЛрдбрд░ рдкрд░ред
рд╡рд┐рдЯ-рдЖрдзрд╛рд░рд┐рдд рдЗрдореЗрдЬ рдПрдиреНрдХреЛрдбрд░реЛрдВ рдХреА рддреБрд▓рдирд╛ рдиреАрдЪреЗ рджреА рдЧрдИ рддрд╛рд▓рд┐рдХрд╛ рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИ:
рдЫрд╡рд┐ рдПрдиреНрдХреЛрдбрд░ | рдореВрд▓ SAM | MobileSAM |
---|---|---|
рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ | 611M | 5M |
рд╕реНрдкреАрдб | 452ms | 8ms |
рдореВрд▓ SAM рдФрд░ MobileSAM рджреЛрдиреЛрдВ рдореЗрдВ рд╕рдорд╛рди рдкреНрд░реЙрдореНрдкреНрдЯ рдЧрд╛рдЗрдбреЗрдб рдорд╛рд╕реНрдХ рдбрд┐рдХреЛрдбрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ:
рдорд╛рд╕реНрдХ рдбрд┐рдХреЛрдбрд░ | рдореВрд▓ SAM | MobileSAM |
---|---|---|
рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ | 3.876M | 3.876M |
рд╕реНрдкреАрдб | 4ms | 4ms |
рдпрд╣рд╛рдВ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдХреА рддреБрд▓рдирд╛ рд╣реИ:
рдкреВрд░рд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрди (рдПрдиреНрдХреЛрдбрд░+рдбрд┐рдХреЛрдбрд░) | рдореВрд▓ SAM | MobileSAM |
---|---|---|
рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ | 615M | 9.66M |
рд╕реНрдкреАрдб | 456ms | 12ms |
MobileSAM рдФрд░ рдореВрд▓ SAM рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХреЛ рдПрдХ рдмрд┐рдиреНрджреБ рдФрд░ рдмреЙрдХреНрд╕ рдХреЗ рд░реВрдк рдореЗрдВ рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдмреЗрд╣рддрд░ рдкреНрд░рджрд░реНрд╢рди рд╕реЗ MobileSAM рдореМрдЬреВрджрд╛ FastSAM рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рд▓рдЧрднрдЧ 5 рдЧреБрдирд╛ рдЫреЛрдЯрд╛ рдФрд░ 7 рдЧреБрдирд╛ рддреЗрдЬ рд╣реИред рдЕрдзрд┐рдХ рд╡рд┐рд╡рд░рдг MobileSAM рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдкреЗрдЬ рдкрд░ рдЙрдкрд▓рдмреНрдз рд╣реИрдВред
рдореВрд▓ SAM рдХреА рддрд░рд╣ рд╣реА, рд╣рдо Ultralytics рдореЗрдВ рдПрдХ рд╕реАрдзрд╛ рдкрд░реАрдХреНрд╖рдг рд╡рд┐рдзрд┐ рдкреНрд░рджрд╛рди рдХрд░рддреЗ рд╣реИрдВ, рдЬрд┐рд╕рдореЗрдВ рдмрд┐рдВрджреБ рдФрд░ рдмреЙрдХреНрд╕ рдкреНрд░реЙрдореНрдкреНрдЯреНрд╕ рджреЛрдиреЛрдВ рдХреЗ рд▓рд┐рдП рдореЛрдб рд╢рд╛рдорд┐рд▓ рд╣реИрдВред
рдЖрдк рдпрд╣рд╛рдВ рд╕реЗ рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ hereред
!!! Example "рдЙрджрд╛рд╣рд░рдг"
=== "Python"
```python
from ultralytics import SAM
# рдореЙрдбрд▓ рд▓реЛрдб рдХрд░реЗрдВ
model = SAM('mobile_sam.pt')
# рдмрд┐рдВрджреБ рдкреНрд░реЙрдореНрдкреНрдЯ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдПрдХ рд╕реЗрдЧрдореЗрдВрдЯ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рдХрд░реЗрдВ
model.predict('ultralytics/assets/zidane.jpg', points=[900, 370], labels=[1])
```
!!! Example "рдЙрджрд╛рд╣рд░рдг"
=== "Python"
```python
from ultralytics import SAM
# рдореЙрдбрд▓ рд▓реЛрдб рдХрд░реЗрдВ
model = SAM('mobile_sam.pt')
# рдмреЙрдХреНрд╕ рдкреНрд░реЙрдореНрдкреНрдЯ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдПрдХ рд╕реЗрдЧрдореЗрдВрдЯ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рдХрд░реЗрдВ
model.predict('ultralytics/assets/zidane.jpg', bboxes=[439, 437, 524, 709])
```
рд╣рдордиреЗ MobileSAM
рдФрд░ SAM
рджреЛрдиреЛрдВ рдХреЛ рдПрдХ рд╣реА API рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЗрдореНрдкреНрд▓рд┐рдореЗрдВрдЯ рдХрд┐рдпрд╛ рд╣реИред рдЕрдзрд┐рдХ рдЙрдкрдпреЛрдЧ рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП, рдХреГрдкрдпрд╛ SAM рдкреЗрдЬ рджреЗрдЦреЗрдВред
рдЕрдЧрд░ рдЖрдк рдЕрдкрдиреЗ рдЕрдиреБрд╕рдВрдзрд╛рди рдпрд╛ рд╡рд┐рдХрд╛рд╕ рдХрд╛рд░реНрдп рдореЗрдВ MobileSAM рдХрд╛ рдЙрдкрдпреЛрдЧрдпреЛрдЧреА рдкрд╛рддреЗ рд╣реИрдВ, рддреЛ рдХреГрдкрдпрд╛ рд╣рдорд╛рд░реЗ рдкреЗрдкрд░ рдХреЛ рд╕рд╛рдЗрдЯ рдХрд░рдиреЗ рдХрд╛ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВ:
!!! Quote "" === "BibTeX"
```bibtex
@article{mobile_sam,
title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
journal={arXiv preprint arXiv:2306.14289},
year={2023}
}
Press p or to see the previous file or, n or to see the next file
Are you sure you want to delete this access key?
Are you sure you want to delete this access key?
Are you sure you want to delete this access key?
Are you sure you want to delete this access key?